Cómo redactar un informe de peer review: lo que las editoriales esperan y los autores deben saber

Tiempo de lectura: 19 minutos
El peer review asegura la calidad de la ciencia
El peer review es crucial para el avance de la ciencia. Fuente: Pixabay

La revisión de artículos científico-académicos, una actividad conocida también como peer review o revisión por expertos, es crucial para mantener la calidad de la comunicación científica.

Los investigadores no suelen recibir formación sobre este tema, y sin embargo, por poco que su carrera académica empiece a tener éxito, les llegará un momento en que les será solicitado que actúen como evaluadores de los trabajos de sus colegas.

En este contexto, es sumamente importante que los evaluadores hagan lo mejor posible su labor, al menos por tres razones:

  • primero, porque una mala evaluación causa un daño innecesario y posiblemente irreparable, así que hay una razón ética profunda por la cual es necesario que los evaluadores procuren hacer las cosas lo mejor posible;
  • segundo, porque las buenas evaluaciones son imprescindibles para el avance de la comunicación científica y esta, a su vez, es la base de la buena ciencia debido a su carácter acumulativo;
  • tercero, por una razón egoísta: si el evaluador lo hace bien, los editores de las revistas confiarán en su criterio y esto ayudará a su currículum tanto de forma directa como indirecta.

Componentes de esta guía

Muchas de las guías y recomendaciones combinan en una sola lista cuestiones que afectan a los puntos de chequeo, los procedimientos e incluso la estructura del informe resultante.

Nosotros, en cambio, hemos considerado que es mejor separar todas estas partes. Como resultado, nuestra guía se articula en los siguientes componentes:

Por lo tanto, después de presentar brevemente qué es el peer review, pasaremos a examinar los puntos de chequeo, para presentar después la estructura recomendada del informe. Estos tres primeros apartados son los que nos ayudarán a entender después las fases, los aspectos ético-pragmáticos y las razones para aceptar ser evaluadores.

Qué es el peer review

El peer review consiste en el proceso de evaluación de un trabajo llevado a cabo por personas con competencias similares a las de los autores (de aquí el término peers o iguales). En el ámbito académico es es el proceso mediante el cual se evalúan y se aprueban, o en su caso, se rechazan, los manuscritos que se envían a las revistas científicas.

En este proceso, los autores envían sus manuscritos a las revistas de su especialidad, donde deben superar una primera evaluación editorial, es decir, un editor de la revista o un equipo de la misma, acepta o rechaza artículos en base a su adecuación a los temas de la revista y a los formatos y otros requerimientos de calidad de la revista.

Objetivos del peer review según Elsevier
Objetivos del peer review según Elsevier (Research Academy). Atención al segundo punto: “asegurar que el trabajo previo es reconocidos”

Los artículos que han superado esta primera decisión editorial se envían al menos a dos expertos en el ámbito del trabajo, a los que se pide que examinen críticamente el mismo e indiquen si se puede aceptar para su publicación (o no). En caso que sea aceptado, suele serlo bajo una serie de cambios para subsanar posibles errores o para la mejora del artículo, ya que raramente se acepta un trabajo sin proponer o exigir algunos cambios.

Cuadro de posibilidades del peer review. Fuente: COPE.
Variaciones y posibilidades del peer review. Fuente: COPE 2018

Puntos de chequeo

Un trabajo académico típico, como es el caso de un artículo, comunica los resultados de una investigación. Por tanto, aquí tenemos dos apartados bien diferenciados en la evaluación del trabajo académico:

  • los que se refieren a la investigación,
  • los que se refieren al artículo.

A partir de aquí, los puntos de chequeo, esto es, los puntos en los cuales se suele recomendar al evaluador que fije su atención, se refieren o bien a la investigación o bien al artículo, aunque no siempre es fácil separar estos dos componentes.

En los que presentaremos a continuación, los puntos del 1 al 5 se refieren principalmente a la investigación y los puntos del 6 al 11 principalmente al artículo, aunque algunos puntos (como el 5 y el 6) forman parte de ambos casi a partes iguales o en todo caso de una forma difícil de separar. Las preguntas que acompañan a cada punto pueden ayudar a ubicar el significado del mismo, pero no deben tomarse de forma taxativa, sino orientativa:

  1. Originalidad. ¿Se trata de una investigación novedosa en algún sentido: objeto de estudio, metodología, desarrollo, etc.? ¿Proporciona avances en su campo?
  2. Oportunidad. ¿Es un trabajo necesario, útil, que cumple alguna función social, o ayuda a los avances en el campo de investigación, etc.? ¿Es un trabajo que enfoca algún asunto importante o interesante para los lectores?
  3. Metodología. ¿La metodología se adecua al objeto de estudio y a los objetivos, y se ha aplicado de forma válida para garantizar los resultados? En investigaciones cuantitativas, ¿son adecuados los aspectos de muestreo y su tratamiento estadístico? En investigaciones cualitativas, ¿se aplican métodos de aseguramiento de la calidad o de triangulación? En todos los casos: ¿se presenta la metodología de forma clara y detallada y se facilita la transparencia y trazabilidad?
  4. Resultados. ¿Los resultados son significativos y se presentan de forma adecuada y comprensible mediante formato de síntesis y de representación de la información como tablas, diagramas, etc.? ¿Los resultados justifican y se relacionan con los objetivos y los métodos?
  5. Discusión y conclusiones. ¿Hay un apartado de discusión -aunque no se denomine así- destinado a interpretar y, en su caso, comparar los resultados con otros estudios, o a destacar su significación, etc.? ¿Las conclusiones son relevantes y se relacionan de forma adecuada con los objetivos? ¿Las conclusiones aportan elementos de utilidad a los lectores de la revista?
  6. Estado de la cuestión. ¿El artículo menciona antecedentes, esto es cita a otros trabajos y, en general, demuestra que se ha llevado a cabo un análisis de la producción científica anterior relacionada con la investigación y los temas del artículo?
  7. Redacción. ¿El articulo está bien escrito? ¿Los autores utilizan un lenguaje adecuado a los conocimientos esperados de los lectores de la revista? ¿Los conceptos se definen sin ambigüedad y se utilizan de forma consistente?
  8. Estructura del artículo. ¿Los contenidos están bien organizados y la estructura del artículo ayuda a su comprensión? ¿Utiliza, incorpora o se adhiere de alguna forma a la estructura IMRyD: Introducción, Métodos, Resultado y Discusión?
  9. Tablas y gráficos. ¿Hay un apoyo en tablas y gráficos para sintetizar y representar información, y estas están bien elaboradas en cuanto a presentación, título, fuente, etc.?
  10. Bibliografía. ¿La bibliografía citada es representativa? ?Es suficiente? ¿La mayor parte de las referencias corresponden a los últimos años 5 o 6 años?
  11. Título y resumen. ¿El título y el resumen expresan bien el objeto de estudio, objetivos y resultados del artículo?

Ejemplos concretos – 1: MDPI

Puntos de chequeo según MDPI
Puntos de chequeo de un manuscrito según la editorial MDPI

Ejemplos concretos 2 – Emerald

Puntos de chequeo para el peer review según Emerald
Los 6 principales puntos de chequeo según Emerald (2019). Atención a los puntos 2, 5 y 6.

Ejemplo concreto 3 – Elsevier

Puntos de chequeo según Elsevier
Tenemos una fusión de procedimientos y puntos de chequeo en la versión de Elsevier

Una vez efectuada la revisión siguiendo puntos de chequeo como los propuestos en esta guía o los que proponen las propias editoriales, se procederá a redactar el informe.

Estructura del informe

La estructura más veces citadas por los expertos y por las propias editoriales suele contemplar tres partes: (1) resumen, (2) problemas mayores y (3) problemas menores. En algunas propuestas, se añade un apartado de (4) recomendaciones.

A partir de aquí, emerge la siguiente como una posible estructura para el informe de revisión de un artículo (nosotros agrupamos las dos clases de problemas bajo un solo apartado):

  • Resumen
    • características de la investigación
    • significación de la investigación o aportaciones más significativas
  • Problemas
    • mayores
    • menores
  • Recomendaciones
    • específicas de la investigación
    • de redacción del artículo

Más adelante, examinamos una variación con un apartado de aspectos positivos, pero es algo que no aparece con tanta frecuencia.

Extensión

La extensión total de un informe de revisión con los componentes anteriores puede oscilar bastante, y no existe, que sepamos ninguna norma al respecto. En cuanto al resumen, por ejemplo, hemos visto citado varias veces que debe ocupar uno o dos párrafos, pero también es muy habitual recomendar que tenga dos componentes: el dedicado a caracterizar la investigación y el dedicado a aclarar su significación. Es más lógico esperar, por tanto, entre dos y cuatro párrafos.

En cuanto a la lista de problemas y recomendaciones, es difícil decir nada a priori: depende del trabajo evaluado (de si es muy rico, y de si tiene o no muchos problemas) y de lo concienzudo y sistemático que sea el evaluador. Nosotros estamos muy habituados a ver evaluaciones que van desde 1 hasta 3 páginas


Una versión extendida

Si la anterior es la estructura más habitual que proponen expertos y editores, lo cierto es que algunas editoriales añaden un cuarto elemento, a saber, una lista de aspectos positivos.

A continuación, revisamos la función y el contenido de las partes principales del informe de evaluación de un artículo científico, recordando que en la versión extendida contempla estos apartados:

Componentes de un informe de peer review. Fuente: Lluís Codina

Estructura de un informe de peer review en versión extendida. En azul claro, los componentes más habituales. Fuente: elaboración propia
  • Resumen
    • investigación
    • significación
  • Aspectos positivos
  • Problemas
    • mayores
    • menores
  • Recomendaciones
    • específicas
    • de redacción

Apartado 1: Resumen

El resumen se puede organizar en dos partes, y puede necesitar entre uno y cuatro párrafos. Su misión es demostrar que el evaluador ha entendido la investigación y ha sabido determinar los aspectos más significativos de la misma.

La organización en dos partes puede ser la siguiente:

  • la primera parte dedicada a reseñar las características de las investigación, esto es, el objeto de estudio, la metodología y los resultados;
  • la segunda parte dedicada a destacar la significación de la investigación, esto es, lo más relevantes del trabajo (si es el caso), su originalidad, su oportunidad, o su situación o comparación frente a otros trabajos.

Función

A los autores, leer el resumen preparado por el evaluador les servirá para comprobar si han comunicado bien su investigación. Por ejemplo, si el evaluador lo hubiera entendido de una forma inadecuada, esto sería muy significativo. Una mala comprensión puede señalar un problema de comunicación en la redacción del artículo y puede explicar algunos de los problemas que presente el evaluador.

Para el evaluador, la necesidad de resumir lo más importante del artículo, es una buena disciplina que aleja el peligro de una lectura superficial o errónea. La necesidad de escribir un resumen coherente señalando lo esencial de la investigación es un buen seguro contra interpretaciones impacientes o apresuradas.

La segunda parte del resumen, en la que el evaluador destaca el significado de las contribuciones del trabajo es también una primera forma de dictamen, pues puede suceder que el evaluador considere que no hay tales aportaciones, o que son muy poco significativas, etc.

Elaboración

En el apartado de Fases veremos que se recomiendan hasta tres lecturas. La primera de ellas es la que aporta los datos para redactar el resumen, en el que se da cuenta de las principales características de la investigación y de su significación.

La segunda lectura se destina a preparar la lista de posibles problemas relacionados con la investigación. La tercera lectura se destina a revisar aspectos del artículo y, eventualmente a preparar la lista de recomendaciones. Naturalmente, este procedimiento de elaboración del resumen es una recomendación que se ajustará mejor o peor al estilo cognitivo y los hábitos de trabajo de cada evaluador.

Apartado 2: Aspectos positivos

Como hemos señalado, algunas propuestas recomiendan incluir también un apartado de aspectos positivos del trabajo.

Función

Las razones que alegan quienes aconsejan añadir una posible lista de puntos positivos son las siguientes: en primer lugar los autores estarán mejor predispuestos a considerar el informe si también incluye los aspectos positivos (en caso de que los tenga, claro).

En segundo lugar, incluir aspectos positivos de una manera destacada puede ayudar a los editores a situar mejor el valor global del trabajo, incluso si la recomendación es publicar, con lo que podría parecer redundante. Siempre es útil para los editores conocer la valoración de sus expertos para acabar de situar la significación de una aportación en el conjunto de trabajos para un número de la revista, p.e.

En tercer lugar, se considera adecuado señalar aspectos positivos (en su caso) incluso en el caso de que el dictamen sea el rechazo del artículo. Una evaluación donde también se destaquen los aspectos positivos puede ayudar mucho a los autores a seguir progresando y a presentar una versión mejorada de su trabajo si deciden enviar el artículo a otra revista.

Apartado 3: Problemas

La casi totalidad de las recomendaciones en este apartado consiste en dividir el dictamen entre problemas mayores y menores, algo que parece de sentido común, aunque en la práctica no siempre se respeta, ni mucho menos por parte de algunos evaluadores que parecen capaces de mezclar las cosas de importancia más dispar, por lo cual se entiende bien esta insistencia.

Función

La elaboración de la lista de problemas mayores y menores cumple la función principal de un informe de peer review a saber: evitar la publicación de trabajos de baja calidad y mejor la calidad de los trabajos publicados. Además, sin duda ayudará a reforzar todas las demás funciones características, desde asegurar que se citan trabajos anteriores relacionados con la investigación hasta detectar a tiempo malas praxis, etc.

Problemas mayores

Los problemas mayores son los que pueden llevar al rechazo del artículo, pero que haya problemas mayores no implica un rechazo automático. Un problema mayor puede darse en un trabajo que, en otros aspectos sea valioso y aporte soluciones, por lo que puede valer mucho la pena intentar salvarlo.

En estos casos, se condiciona la aceptación del artículo a que se lleven a cabo los cambios que subsanen estos errores. Esto conduce también a una nueva versión del trabajo y a una nueva ronda de revisiones. Finalmente, se puede rechazar el trabajo si la nueva versión no satisface las exigencias de los revisores.

Los problemas mayores pueden estar relacionados con el método, la discusión, los resultados, etc., esto es, con los puntos 1 a 5 de la lista de chequeo, ya que son los que se relacionan más directamente con la investigación.

Problemas menores

Los problemas menores pueden estar relacionados con aspectos del artículo, como la redacción, la estructura, la bibliografía, etc., esto es con los puntos 6 a 11 de la lista de chequeo.

Los problemas menores no exigen una nueva versión del trabajo, pero sí una nueva versión del artículo con todas las mejoras añadidas, salvo razonamiento fundado en contrario de los autores.

Fuente de los problemas

Pese a lo dicho, no debe relacionarse de modo unívoco problemas mayores con problemas de la investigación y problemas menores con problemas del artículo. Ciertamente, lo lógico es que problemas graves de la investigación conduzcan a un dictamen de rechazo, ya que ante ellos debería ser lo de menos que el artículo esté bellamente redactado o que incluya vistosos gráficos.

Pero hay una buena razón para no relacionar esto de forma unívoca, porque los problemas mayores del trabajo también pueden estar relacionados con una muy pobre redacción, por ejemplo. Ciertamente, lo habitual es que en estos casos, estos manuscritos sean rechazados en la fase editorial, con lo que no suelen llegar a los evaluadores, pero puede no ser así.

Un caso por desgracia habitual suele ser el de trabajos escritos en inglés por autores no nativos en esta lengua y que no haya pasado por ninguna corrección de idioma. Un trabajo así puede ser rechazado por un tema de escritura (en fase editorial o por los evaluadores). Este es solamente un ejemplo que nos lleva a no relacionar de forma unívoca los problemas mayores con los problemas de la investigación.

Apartado 4: Recomendaciones

En teoría, un problema identificado de forma adecuada incorpora de forma implícita, la recomendación correspondiente. Por ejemplo, si un problema es que el resumen está pobremente redactado, es evidente que la recomendación, en caso de hacerse explícita sería: “mejore la redacción del resumen”.

Por tanto, podría ser que el apartado de recomendaciones fuera innecesario en algunos casos. Pero, según la naturaleza de los problemas, puede ser necesario complementar la evaluación con propuestas o recomendaciones explícitas.

En general, nos encontraremos con la posibilidad de hacer dos tipos de recomendaciones, las que se relacionan con la investigación en sí (específicas) y las que se suelen poder hacer a toda clase de trabajo, esto es, mejoras en la redacción y recomendaciones sobre la bibliografía.

Función

La función de este apartado es aumentar el valor del informe de revisión, aportando elementos adicionales a los autores para la mejora de su trabajo. Es un servicio adicional y muy valioso que los evaluadores más experimentados pueden prestar a los autores y, con ellos, a la revista que acabará publicando un artículo de mucha mayor calidad.

Específicas

Las recomendaciones específicas son las relacionadas con la investigación en sí.
Por ejemplo, el evaluador puede detectar un problema consistente en la falta de consideración de una línea de trabajos relacionada. En lugar de limitarse a señalar la deficiencia, podría añadir una recomendación orientadora de porqué y cómo se podrían relacionar las líneas de trabajo

O, en lugar de señalar falta de apoyo a algunas conclusiones, podría sugerir tratamientos adicionales de los datos que podrían enriquecer el trabajo, o podría orientar sobre la forma de complementar la información sobre el objeto de estudio, o sobre cómo presentar los resultados de una forma más eficaz, etc.

De redacción

Además de lo anterior, que será muy diferente en función de cada trabajo analizado, hay dos apartados donde se pueden hacer recomendaciones de forma general a casi cualquier trabajo:

  • Mejoras concretas en la redacción. Una forma especialmente útil de recomendaciones de mejora es señalar todos los apartados que puedan necesitar aclaraciones por deficiencias de redacción, explicaciones insuficientes o contradictorias, etc. También si se detectan errores factuales de cualquier tipo.
  • Bibliografía: tanto en completud y oportunidad como en formato. El apartado de bibliografía también puede recibir propuestas de mejora: obras o autores ignorados, pocas referencias actuales (últimos 5 o 6 años), pocas referencias internacionales, formatos inconsistentes, etc.

Numerar

Tanto la lista de problemas, como la de recomendaciones debería presentarse como tal, esto es como una lista, o al menos de la forma más estructurada posible. Lo ideal, es numerarlos.

Sin esta medida, los evaluadores tienden a la mala práctica de presentar largos párrafos discursivos con diversas consideraciones entrelazadas, de manera que un solo párrafo puede contener varios problemas, a veces de naturaleza totalmente dispar.

En cambio, tanto si los problemas como las recomendaciones se presentan numeradas es mucho más fácil para los autores examinar las propuestas y aplicar los cambios, y a los editores y a los propios evaluadores comprobar la eficacia de su aplicación en las nuevas versiones.

Lo que no se debe hacer

Lo que no es correcto es proponer investigaciones adicionales en interés del evaluador. Por un lado ninguna investigación es completa en sí misma. Por otro lado, es de sentido común que cada investigador habría hecho el trabajo de otra manera. Se llama diversidad humana.

No es casual que uno de los apartados de la normas COPE sobre ética de la evaluación señala explícitamente:

No es tarea del revisor extender la obra más allá de su alcance actual. Sea claro en términos de cuáles (de existir) investigaciones adicionales se sugieren como esenciales para respaldar las afirmaciones realizadas en el manuscrito en consideración y cuáles simplemente fortalecerían o extenderían el trabajo.

(COPE, 2018)

Una cosa es que se pueda argumentar de manera sólida que la investigación adicional resulte imprescindible para que el trabajo tenga algún sentido, pero entonces, puede ser que el trabajo tenga un problema grave y tal vez lo que proceda sea rechazarlo con la debida justificación. Pero si no es imprescindible y responde principalmente a una inclinación o un interés personal del evaluador, entonces debe abstenerse de proponerla, o autores y editores deben ignorarla por los motivos que ya hemos indicado.

Informes compuestos

Además de los apartados anteriores, es frecuente que las revistas nos pidan completar un formulario con componentes como los que hemos mostrado en los Puntos de chequeo. En este caso, el informe final tendrá dos secciones:

  • Formulario con respuestas a diversos puntos, muchas veces mediante casillas de verificación, o mediante respuestas Sí/No, o con selección de grados de cumplimiento. Estos puntos de verificación suelen coincidir con los que se indica en la lista de chequeo.
  • Informe narrativo con la estructura mostrada más arriba (resumen, problemas mayores, problemas menores, recomendaciones).

También es posible cumplimentar un apartado que va dirigido solamente a los editores, esto es que no se mostrará a los autores. Este apartado, en caso que la revista lo contemple (aunque es una opción que siempre puede invocar el revisor) se reserva para informaciones sensibles, por ejemplo, conflicto de intereses detectados por el revisor, y no declarados, o malas prácticas (plagio, p.e.).

La regla de oro

Varias de las recomendaciones sobre como escribir el informe de evaluación de un artículo mencionan la “regla de oro“, que se suele formular, en el caso de las revisiones, de este modo:

Revisa para otros como querrías que otros revisaran para tí

Parte de las fases de elaboración de un informe de peer revieew
Los tres últimos pasos del método recomendado por Stiller-Reeve (2018) incluye la estructura del informe con las tres seccions habituales y la “regla de oro”

Fases

Las fases de trabajo siguientes contemplan, de forma secuencial, la toma de decisiones, la revisión, la toma de notas, la redacción final, la revisión del informe final, el envío del informe con el dictamen y posibles acciones post-informe. Lo vemos a continuación.

1- Primera toma de decisión: ¿evaluar o no evaluar? . Antes que nada, debemos considerar si tenemos la capacidad para evaluar un trabajo sobre el tema que indican el título y el resumen del artículo. Parece un aspecto elemental, pero debemos hacer hincapié en el mismo ante malas prácticas que todos, en alguna ocasión, incluso de revistas de prestigio, hemos sufrido, al recibido informes que demostraban la completa ignorancia del evaluador en el tema. Penoso, pero real. No es necesario ser un experto en todos los apartados de la investigación, y no debemos tener reparos en señalar nuestras limitaciones a los editores, pero sí hemos de tener competencias en el tema principal.

2. Segunda toma de decisión: ¿podré cumplir el plazo? Es igualmente importante, hacerse esta pregunta antes de aceptar la evaluación. Los retrasos en la entrega de los informes perjudican a los autores y a los editores, y añaden trabajo extra para todos. No se debería aceptar una evaluación si no se está completamente seguro de respetar los plazos propuestos por la revista. El trabajo de evaluación cuesta el mismo tiempo, tanto si se hace nada más recibir la propuesta, como si se deja para más adelante. Procrastinar, raramente tiene sentido, y en este caso menos que nunca.

3 – Leer las instrucciones de la revista. Si hemos aceptado la evaluación por buenos motivos hay que examinar las instrucciones tanto para revisores como para autores de la revista, salvo que ya conozcamos muy bien la publicación por haber hecho evaluaciones muy recientes.

4 – Primera lectura – El resumen. A continuación ya podemos proceder a leer el articulo mediante lo que se denomina lectura profunda, esto es, con toma de notas. Esta lectura debe servirnos para redactar el resumen, determinar la calidad global de la investigación y, en consecuencia, tomar la decisión de aceptar o rechazar el artículo.

5 – Segunda lectura – La investigación. La segunda lectura, en caso de que hayamos decidido aceptar el artículo, sirve para revisar los aspectos vinculados con la investigación: la metodología, los resultados, la discusión, etc., de aquí saldrán los posibles problemas que en la lista comprobación hemos señalado del 1 al 5.

6 – Tercera lectura – El artículo. Esta lectura nos permite centrarnos en los aspectos propios del artículo, como el título, el resumen, la redacción, la estructura, etc., y que aquí saldrán las observaciones o posibles problemas que hemos señalado en la lista de comprobación numerados del 6 al 11.

7 – Documentación y verificación adicional. Es importante hacer una búsqueda en Internet sobre el tema del artículo, para lo cual podemos utilizar Google Scholar, a fin de tener una visión rápida de lo más importante y los más reciente que se haya publicado sobre el tema. Explorar algunos de los resultados principales de la búsqueda puede ayudarnos a entender cosas del trabajo o a detectar insuficiencias, a comparar algún estudio similar, etc. En algún caso, puede llevarnos a reconsiderar algún apartado de nuestra evaluación.

8 – Última revisión. Una vez considere que el informe está completo, es aconsejable hacer una última revisión al informe antes de darlo por finalizado, sobre todo si se trata de una evaluación donde los aspectos negativos predominan.

9 – Dictamen final y envío del informe. Cuando el evaluador considere que ya ha completado su revisión, al subir su evaluación a la plataforma de la revista (o al enviar por correo su informe), normalmente deberá elegir una de estas tres opciones: (1) aceptado con cambios menores, (2) aceptado con cambios mayores, (3) rechazado. El lector atento habrá observado que la opción “aceptado sin cambios” no aparece. La razón es que se considera muy extraño que un artículo no tenga aspectos mejorables. Además, los evaluadores se resisten a no señalar nada, porque inevitablemente parecerá que no han hecho su trabajo. La opción “aceptado sin cambios” es una prerrogativa de los editores de la revista ante trabajos de naturaleza excepcional que, en principio, se supone que raramente es utilizada.

10 – Después de la evaluación. En los casos de artículos aceptados con cambios mayores, el evaluador debe estar dispuesto para revisar la nueva versión del trabajo. Es posible que algunos cambios no hayan sido bien implementados, en cuyo caso deberá sopesar la opción de rechazar el artículo de forma definitiva. Pero también es posible que algunos cambios no se hayan implementado y que los autores argumenten de forma convincente de su motivo para no hacerlo. En este caso, y cuando los cambios se hayan llevado a cabo de forma correcta, el resultado debe ser una aprobación definitiva del artículo.


Consejos para producir informes relevantes para los editores

En el siguiente recuadro tenemos el caso de dos autores que, tras analizar una muestra de los mejores informes de peer review según los editores han confeccionado una lista de 5 consejos:

Consejos sobre peer review
5 consejos sobre peer review. Fuente: Falkenberg y Soranno, 2018

Para entender la lista de la captura precedente, hay que considerar que las Entities son partes concretas del artículo revisado, como los objetivos y la metodología, mientras que los Adjectives, son términos utilizados para valorar cada parte, como “original”, “innovador”, o “útil”, “valioso”, etc.

En resumen, según estos autores, los mejores informes de revisión son los que se refieren a un mayor número de componentes del artículo utilizando un vocabulario más expresivo. Parece bastante lógico, pero siempre está bien que un estudio lo confirme.


Tiempo

Según estimaciones propias, llevar a cabo una evaluación normal requiere alrededor de media jornada. Por supuesto, esto sería poco significativo si no fuera porque coincide con algunos estudios sobre el tema (Ware, 2011), que calculan el promedio de tiempo necesario en unas 5 horas, aunque otros amplían la horquilla y lo sitúan entre 5 y 8 horas (Huisman y Smits, 2017). No obstante, en otro extremo, podemos encontrar autores como Faff (2015) que aseguran que gracias a su experiencia en esta actividad, es capaz de completar una revisión en 2-3 horas.

Ciertamente, a veces nos podemos encontrar con trabajos intrincados, que requieren mucha dedicación, tanto para interpretarlos, como para escribir nuestro informe, pero esto no tiene porqué ser la pauta general.

Cuando suceda, no porque sea un trabajo mal escrito (en este caso, habría que rechazarlo) sino porque es profundo y requiere mucha dedicación para poder ser interpretado, habrá que considerarlo en realidad un caso de buena suerte: nos aplicamos a fondo, y seguramente también aprenderemos mucho más que con un artículo convencional, así que también habrá valido la pena.


Cómo no hacer las cosas – 1

Por alguna razón, parece que abundan las listas sobre cómo no hacer la cosas en el campo del peer review, y aquí tenemos dos:

Cómo no hacer la evaluación de un artículo científico
Cosas que NO hay que hacer según Elsevier (2019b). Hemos destacado algunas que nos parecen especialmente importantes

En la lista precedente vemos 5 cosas concretas que NO deben hacerse. Destacamos 3 de ellas que nos parecen especialmente importantes: los argumentos ad-hominem, las apreciaciones basadas en prejuicios y las propuestas para que los autores incluyan referencias del evaluador (o de personas de su equipo) sin razones científicas.


Como no hacer las cosas – 2

10 cosas que se deben evitar al escribir un informe de evaluación de un artículo científico
10 formas terribles de hacer una revisión (Blocken, 2017).

Por su parte, Blocken señala 10 cosas que NO deben hacerse, entre las cuales destacaría la 6: obviar partes clave del artículo; la 9: presentar recomendaciones anti éticas (como que se incluyan referencias del evaluador) o la 10: olvidar aplicar la (varias veces mencionada) “regla de oro”.

Ética y pragmatismo

En cuanto a los aspectos éticos, es necesario seguir lo dispuesto por organismos como el COPE en este sentido. En lo que sigue, y sin perjuicio de consultar sus Guidelines, cosa que recomendamos vivamente, podemos señalar lo siguiente:

  • El evaluador debe cumplir su misión con objetividad y honestidad. Lo que los editores esperan es una evaluación sincera e imparcial de las puntos fuertes y débiles del manuscrito y cualquier otra cosa está fuera de lugar.
  • Debe leer el artículo con atención y en toda su integridad, incluyendo materiales complementarios, así como debe seguir las indicaciones de la revista para la presentación de su información en cuanto a formato y otras características.
  • No obstante, si por alguna razón se ha abstenido de evaluar algunas partes del manuscrito por razones de especialidad o competencia debe comunicarlo así a los editores.
  • Debe rechazar la evaluación si no conoce bien el tema o la parte sustancial del mismo. Igualmente, si existe un conflicto de intereses.
  • No puede utilizar la información a la que ha tenido acceso como parte de la revisión antes de que el artículo se publique, y por supuesto no puede utilizarla en perjuicio de los autores.
  • Si identifica aspectos que van contra la ética en el artículo que está evaluando, debe contactar con la revista y solicitar instrucciones al respecto. Es importante recordar lo que la Guía COPE (2018) indica en este sentido: “(…) de haber cualquier otra inquietud de tipo ético, contacte al editor directamente y no intente investigar por su cuenta. Es apropiado cooperar en forma confidencial con la revista, pero no investigar personalmente salvo que la revista solicite información adicional o asesoría”
  • Si se trata de una evaluación donde conoce la identidad de los autores (simple ciego, p.e.) esta no puede quedar afectada por cuestiones de género, nacionalidad o afiliación de los autores.
  • El evaluador no puede aprovechar su posición para hacer recomendaciones basadas en la búsqueda de su propio beneficio, como recomendar bibliografía propia.
  • No es competencia del evaluador extender la investigación más allá de su alcance actual. Si considera que el trabajo requiere análisis adicionales debe justificarlos adecuadamente.
  • El tono de su informe debe ser de respeto con el trabajo y con los autores. Están fuera de lugar los juicios de valor, las descalificaciones y en general un lenguaje rudo o desconsiderado con los autores. No debe utilizar el anonimato como una oportunidad para ser arbitrario.
Principios éticos para el peer review. Fuente: Irene Hames para COPE.
Principios éticos básicos recomendados por COPE. Fuente: Hames 2013

En cuanto al pragmatismo, volveremos aquí a algunas cosas que han quedado dispersas en los puntos anteriores:

  • No vale la pena procrastinar, cosa que además causa un grave perjuicio a terceros. Ya hemos dicho que una evaluación, salvo casos de especial complejidad, se puede resolver en cuestión de pocas horas.
  • Numerar. El informe debería estar libre de toda consideración lateral o comentario innecesario, y cada problema se debería tratar por separado, en una línea o un párrafo. Lo ideal sería enumerar cada propuesta o problema y cada recomendación (en su caso).
  • Primero lo positivo. Es recomendable empezar por los aspectos positivos, no solamente en el caso de que se acepte (con cambios menores o mayores), sino incluso en el caso que se proponga el rechazo. Si empezamos con los aspectos positivos es más fácil que los autores lean la totalidad del informe, y nuestras observaciones pueden ayudar a los autores para que mejoren sus futuros trabajos. En todo caso, es una cuestión de respeto al trabajo ajeno empezar por los aspectos positivos, en especial si después vamos a ser muy críticos. Lo contrario, nos resta credibilidad.
  • Rigor. El registro ideal del informe es el que tendría si la evaluación fuera a ser publicada con el nombre del evaluador junto al artículo evaluado, como se hace en los casos de open review. Mi consejo es que al redactar el informe lo hagamos bajo esta premisa aunque sepamos que nuestro informe no va a ser publicado nunca. Esto tiene el efecto de obligarnos a ser mucho más rigurosos y evitar afirmaciones gratuitas o poco fundadas.
  • Lo que hay. Se debe evaluar el trabajo en sí, es decir, tal como es, con la metodología utilizada y el objeto de estudio elegido, no en base a aquello que como evaluadores nos hubiera gustado hacer de haber sido nosotros los autores, porque es de sentido común que hubiéramos hecho algo diferente. Falta de claridad en los resultados, mala elección de la metodología, deficiente aplicación de la misma, o datos incompleto, sí serían problemas reales, por supuesto.

Por qué queremos ser evaluadores

No se puede cerrar esta guía sin preguntarnos porqué se supone que un investigador podría querer ser evaluador. Si lo miramos de cierta forma, parecería que solo hay aspectos negativos: es un trabajo que no suele ser remunerado, cada evaluación ocupa al menos varias horas y además suele ser un trabajo anónimo.

Así que convendría señalar algunas de las razones por las cuales se supone que un investigador, joven o senior, querría ser evaluador:

  • En primer lugar, aunque me temo que no sea el argumento más convincente para todos, debemos señalar el más poderoso desde el punto de vista de la responsabilidad: debemos prestarnos a esta labor porque así lo requiere el bien del progreso científico.
  • En segundo lugar, porque forma parte del currículo de un investigador. Esto es, poder demostrar que se es elegido como evaluador por determinadas revistas es un componente adicional de acreditación de una carrera académica. Por tanto, el trabajo que, ciertamente es anónimo y no remunerado, en realidad tiene recompensa.
  • En tercer lugar, se obtiene información privilegiada al leer contribuciones científicas que pueden tardar meses en hacerse de conocimiento público. Es un beneficio que redunda en nuestro crecimiento personal, a la vez que debemos recordar que una norma ética elemental, que ya hemos mencionado, prohíbe hacer un uso de la misma hasta que no se publique el artículo.
  • En cuarto lugar, ayuda al networking del investigador, al establecer relaciones con editores de revistas. Esto no se puede traducir en que sus trabajos vayan a tener más facilidades que otros (cosa que sería antiética), sino en el hecho elemental que los editores son también colegas de profesión con los que en el futuro puede trabajar, o porque puede recibir a su vez encargos como editor, etc.

Podríamos citar como una razón adicional que algunas revistas remuneran a los autores, pero esto no debería ser un motivo de rechazo de colaboración con aquellas que no lo hacen (que son la mayoría).

Por lo cual, lo mencionamos como curiosidad, y no lo hemos incorporado como una de las razones para colaborar con el peer review. Cuando existe una remuneración, normalmente va acompañada de la necesidad de que la misma se haga en un plazo muy breve, y en ocasiones es una cantidad que no se percibe en metálico, sino que después se podrá descontar de los APC de la revista.

Por último, en este apartado podemos mencionar la labor de la empresa Publons, actualmente parte del grupo Clarivate Analytics (propietaria de Web of Science) que impulsa una actividad de reconocimiento del peer review como parte del currículum académico, de modo que redunde de forma más directa en beneficios para los revisores. Ciertamente, también están generando a partir de aquí un modelo de negocio con las editoriales. Si es transparente y consiste en una operación win/win para autores, revisores y editores, bienvenido sea.

Publons Academy (Clarivate Analytics) facilita un completo curso sobre peer review como parte de sus actividades para impulsar el peer review

Conclusiones

La evaluación de artículos científicos mediante el sistema denominado peer review, o de evaluación por personas de similares competencias, es de una importancia fundamental para mantener la calidad de la comunicación de la ciencia. Por lo tanto, es vital para la calidad de la ciencia en sí misma, dado su carácter acumulativo, pues necesita una comunicación efectiva y libre de errores (hasta donde sea humanamente posible).

Ciertamente, el sistema peer review presenta un balance de ventajas e inconvenientes, y desde luego no es perfecto, pero esto no es significativo en sí mismo, dado que no se conoce ninguna actividad humana a la que no se pueda aplicar todo lo anterior. Lo que importa es si el balance entre inconvenientes y ventajas arroja un saldo positivo, y todo indica que es así.

La cuestión es que los buenos investigadores, más pronto que tarde, acabarán recibiendo peticiones para actuar como evaluadores cuando empiecen a destacar en su campo.

Entonces es muy importante que los evaluadores conozcan los procedimientos más básicos de esta importante función, sus restricciones éticas y pragmáticas, los puntos en los cuales los informes de evaluación pueden ser más útiles, y por tanto, todo aquello que los editores y los autores evaluados esperan de ellos.

Si se siguen algunos procedimientos como los mostrados aquí, y que el lector interesado puede encontrar desarrollados en las fuentes que se citan a continuación, las evaluaciones pueden generar informes de alta calidad, algo que beneficiará a todos, porque estarán contribuyendo a consolidar un ecosistema de información académico cada vez mejor para todos.

Anexo

El autor al que se refiere el subtítulo de este entrada es tanto el del informe de evaluación como el del artículo que va a ser revisado. A la vez, es un torpe intento de homenaje a la obra de Kovach y Rosenstiel: Los elementos del periodismo: todo los que los periodistas deben saber y los ciudadanos esperar (Madrid: Aguilar, 2012). No tiene nada que ver con el tema, pero es una obra inspiradora allá donde las haya y parece que siempre es el momento de recordarla en esta era de desinformación.

Para saber más