Cómo redactar el informe de evaluación (peer review) de un artículo científico: lo que las editoriales esperan y los autores deben saber

Edición Julio 2021

La revisión de artículos académico-científicos, una actividad conocida también como peer review o revisión por expertos, es crucial para mantener la calidad de la comunicación científica y, por tanto, la calidad de la propia ciencia.

En una de tantas contradicciones de la comunicación académica, resulta que los investigadores no suelen recibir formación sobre este tema, y sin embargo, por poco que su carrera académica empiece a tener éxito, llegará un momento en que les será solicitado que actúen como evaluadores de los trabajos de sus colegas.

En este contexto, es fundamental que los evaluadores hagan lo mejor posible su labor, al menos por tres razones:

• primero, porque una mala evaluación causa un daño innecesario y posiblemente irreparable, así que hay una razón ética profunda por la cual los evaluadores deben hacer las cosas lo mejor posible;
• segundo, porque com ya hemos señalado, pero no nos cansaremos de repetir, las buenas evaluaciones son imprescindibles para el avance de la comunicación científica y esta, a su vez, es la base de la buena ciencia;
• tercero, por una razón egoísta: si el evaluador lo hace bien, los editores de las revistas confiarán en su criterio y esto ayudará a su currículum tanto de forma directa como indirecta.

Componentes de esta guía

Muchas de las guías y recomendaciones que hemos examinado para este trabajo, combinan en una sola lista tres aspectos que deberían estar bien diferenciados, a saber: los puntos de chequeo, la estructura del informe resultante y las fases de ejecución.

Nosotros, en cambio, hemos considerado que es mejor separar todas estas partes. Además, hemos añadido algunos aspectos básicos que consideramos necesario conocer bien. Como resultado, nuestra guía se articula en los siguientes componentes:

• Qué es el peer review
• Puntos de chequeo
• Estructura del informe
• Fases
• Aspectos éticos y pragmáticos
• Porqué se supone que queremos ser evaluadores

Qué es el peer review en la comunicación académica

El peer review es un proceso de evaluación llevado a cabo por personas con competencias similares a las de los autores de los trabajos evaluados (de aquí el término peers o iguales).

El peer review se puede aplicar a la evaluación de carreras académicas (evaluación de investigadores), de artículos científicos o de proyectos de investigación, en el contexto general de lo que se denomina ciencia evaluada.

En el ámbito concreto de la comunicación académica es es el proceso mediante el cual se evalúan y se aprueban, o en su caso, se rechazan, los manuscritos que reciben las revistas científicas.

En este proceso, los autores envían sus manuscritos a las revistas de su especialidad, donde reciben una primera evaluación editorial. En concreto, un editor de la revista (o un equipo), acepta o rechaza artículos en base a su adecuación a los temas de la revista y a los formatos y otros requerimientos de calidad.

Los artículos que han superado esta primera decisión editorial se envían al menos a dos expertos en el ámbito del trabajo, a los que se pide que examinen críticamente el mismo e indiquen si se puede aceptar para su publicación (o no). En caso que sea aceptado, suele serlo bajo una serie de cambios para subsanar posibles errores o para la mejora del artículo, ya que raramente se acepta un trabajo sin proponer o exigir algunos cambios.

Otra forma de interpretar el peer review es mediante este diagrama del COPE en el cual se relacionan las dimensiones del peer review con los tipos (abierto, simple, doble) y con las fases de publicación del manuscrito (preprint, prepublicación, postpublicación):

A partir de esta conceptualización somera del peer review ya podemos considerar los tres ejes principales de una revisión, a los que ya nos hemos referido: los puntos de chequeo, la estructura y las fases.

Puntos de chequeo

Un trabajo académico característico, como es el caso de un artículo, consiste en una comunicación o reporte. Pero, ¿reporte de qué? De un trabajo de investigación o de un estudio previo (ver los JARS de APA, por ejemplo, donde queda diáfanamente claro que un artículo es una forma de reporte).

Por tanto, aquí tenemos dos apartados bien diferenciados en la evaluación de un trabajo académico:

• aquellos que se refieren a la investigación en sí misma,
• aquellos que se refieren al reporte de la investigación, esto es, al artículo.

A partir de aquí, los puntos de chequeo, esto es, los puntos en los cuales se suele recomendar al evaluador que fije su atención, se refieren principalmente a la investigación o principalmente al artículo,con puntos comunes que no es fácil diferenciar de forma taxativa.

En los que presentaremos a continuación, los puntos del 1 al 5 se refieren principalmente a la investigación, mientras que los puntos del 6 al 11 principalmente al artículo. Por su parte, los puntos 5 y 6 pueden considerarse comunes.

Las preguntas que acompañan a cada punto ayudan a enfocar el significado del mismo y por tanto, ayudan a su evaluación, pero no deben tomarse de forma taxativa, sino orientativa:

1. Originalidad. ¿Se trata de una investigación novedosa en algún sentido: objeto de estudio, metodología, desarrollo, etc.? ¿Proporciona avances en su campo?
2. Oportunidad. ¿Es un trabajo necesario, útil, que cumple alguna función académica, o social, o ayuda de alguna forma en los avances en el campo de investigación, etc.? ¿Es un trabajo que enfoca algún asunto importante o interesante para los lectores de la revista?
3. Materiales y métodos. ¿La metodología se adecua al objeto de estudio y a los objetivos, se explica de forma transparente y se ha aplicado de forma válida para garantizar los resultados? En investigaciones cuantitativas, ¿son adecuados los aspectos de muestreo y su tratamiento estadístico? En investigaciones cualitativas, ¿se aplican métodos de aseguramiento de la calidad y transferencia? ¿Se aplica alguna forma de triangulación? En todos los casos: ¿se presenta la metodología y el uso de los materiales de forma clara y detallada y se facilita la trazabilidad de los procesos llevados a cabo? ¿Se han detectado posibles fuentes de sesgos? ¿Se ofrece información suficiente sobre los procesos o análisis llevados a cabo?
4. Resultados. ¿Los resultados son significativos y se presentan de forma adecuada y comprensible no sólo mediante narración, sino también con formas de representación de la información tales como tablas, diagramas, etc.? ¿Los resultados justifican y se relacionan con los objetivos y los métodos? ¿Los resultados presentan interés suficiente de tipo académico o social?
5. Discusión y conclusiones. ¿Hay un apartado de discusión destinado a valorar, interpretar y, en su caso, comparar los resultados con otros estudios, o a destacar de forma clara su significación, etc.? ¿Las conclusiones son amplias, relevantes y se relacionan de forma adecuada con los objetivos? ¿Las conclusiones aportan elementos de utilidad a los lectores de la revista?
6. Estado de la cuestión. ¿El artículo menciona antecedentes, esto es cita a otros trabajos y, en general, demuestra que se ha llevado a cabo una revisión de la producción científica anterior relacionada con la investigación y con los temas del artículo?
7. Redacción. ¿El artículo está bien escrito? ¿Mantiene el registro de lenguaje propio de la comunicación académica? ¿Los autores utilizan un lenguaje adecuado a los conocimientos esperados de los lectores de la revista? ¿Los conceptos manejados se definen sin ambigüedad y se utilizan de forma consistente?
8. Estructura del artículo. ¿Los contenidos están bien organizados y la estructura del artículo ayuda a su comprensión? ¿Utiliza, incorpora o se adhiere de alguna forma a la estructura IMRyD: Introducción, Métodos, Resultado y Discusión? ¿Incluye un apartado de marco teórico y/o de antecedentes del problema de investigación -estado de la cuestión o revisión bibliográfica-?
9. Tablas y gráficos. ¿Hay un apoyo en tablas y gráficos para sintetizar y representar información, y estas están bien elaboradas en cuanto a presentación, título, fuente, etc.?
10. Bibliografía. ¿La bibliografía citada es representativa del problema estudiado? ?Es suficiente? ¿La mayor parte de las referencias corresponden a los últimos años -p.e, últimos 5 o 6 años-? ¿Cada ítem de la lista de referencias aparece en algún punto del cuerpo del artículo?
11. Título y resumen. ¿El título y el resumen expresan bien el objeto de estudio, objetivos y resultados del artículo?

El modelo de Publons Academy

Publons ofrece un curso gratuito sobre peer review al que nos referiremos en más de una ocasión por estar vinculada con la empresa productora de la base de datos Web of Science. En concreto, quienes hagan este curso verán que propone un informe de revisión basado en estos puntos:

• Abstract, title and references
• Introduction/background
• Methodology
• Data and results
• Discussion and conclusions
• Overall

Después de estos apartado, Publons añade otros tres bloques (puede descargarse una plantilla, pero hay que hacer el curso para que se active el enlace de descarga) en los que el evaluador puede hacer comentarios más generales. Son los tres siguientes:

• Overall statement or summary of the article and its findings in your own words. Corresponde al resumen que contemplan otras recomendaciones.
• Overall strengths of the article and what impact it might have in your field. Corresponde a las observaciones generales de otras propuestas.
• Specific comments on weaknesses of the article and what could be done to improve it. Corresponde a los apartados de problemas mayores y menores que casi todas las propuestas incluyen.

La siguiente captura muestra esta segunda parte del template que propone Publons. Véase que, en el bloque correspondiente a problemas mayores y menores, sugieren claramente la necesidad de numerar cada observación:

Las propuestas editoriales

Cabe señalar que muchas editoriales proponen listas de chequeo (nosotros hemos analizado unas cuantas). La recomendación, por supuesto es atender en primer lugar a la lista de puntos de chequeo de la revista, en cuyo caso, los 11 puntos anteriores pueden considerarse una orientación adicional o complementaria.

A continuación, mostramos casos concretos de aspectos o puntos de análisis de la calidad de un artículo tal como los presentan sendas editoriales académicas:

Casos 1: MDPI

Casos 2: Emerald

Caso 3 – Elsevier

Una vez efectuada la revisión siguiendo puntos de chequeo como los propuestos en esta guía o los que proponen las propias editoriales, se procederá a redactar el informe.

Contenidos del informe de revisión

Los componentes más veces citados por los expertos y por las propias editoriales suele contemplar tres partes: (1) resumen, (2) problemas mayores y (3) problemas menores. En algunas propuestas, se añade un apartado de (4) recomendaciones.

A partir de aquí, emerge la siguiente como una posible estructura en tres parte para la parte narrativa del informe de revisión:

• Resumen
  • características de la investigación
  • significación de la investigación o aportaciones más significativas
• Problemas
  • mayores
  • menores
• Recomendaciones
  • sobre la investigación
  • sobre la redacción del artículo

Más adelante, examinamos una variación con un apartado de aspectos positivos, pero es algo que no aparece con tanta frecuencia.

Extensión

La extensión total de un informe de revisión con los componentes anteriores puede oscilar bastante, y no existe, que sepamos ninguna norma al respecto. En cuanto al resumen, por ejemplo, hemos visto citado varias veces que debe ocupar uno o dos párrafos. También es habitual que tenga dos componentes: el dedicado a caracterizar la investigación y el dedicado a aclarar su significación. Es lógico esperar, por tanto, entre dos y cuatro párrafos.

En cuanto a la lista de problemas y recomendaciones, es difícil decir nada a priori: depende del trabajo evaluado (de si es muy rico, y de si tiene o no muchos problemas) y de lo concienzudo y sistemático que sea el evaluador. En nuestra propia experiencia, estamos habituados a ver evaluaciones que van desde 1 hasta 3 páginas

Una versión ampliada

Si la anterior es la estructura más habitual que proponen expertos y editores, lo cierto es que algunas editoriales añaden un cuarto elemento, a saber, una lista de aspectos positivos.

A continuación, revisamos la función y el contenido de las partes principales del informe de evaluación de un artículo científico, recordando que en la versión extendida contempla estos apartados:

A continuación, la lista un poco más estructurada de los componentes de un informe de peer review en versión extendida (que podemos ver también en el diagrama precedente):

1. Resumen
   • investigación
   • significación
2. Aspectos positivos
3. Problemas
   • mayores
   • menores
4. Recomendaciones
   • específicas
   • de redacción

Apartado 1: el resumen del evaluador

El resumen se puede organizar en dos partes, y puede necesitar entre uno y cuatro párrafos. Su misión es demostrar que el evaluador ha entendido la investigación y ha sabido determinar los aspectos más significativos de la misma. Se trata de una disciplina que obliga al evaluador a ser más riguroso. Al tener que redactar un resumen, se auto-obliga a demostrar que ha entendido bien el trabajo.

Como sea la organización del resumen en dos partes puede ser la siguiente:

• la primera parte, dedicada a reseñar someramente (recordemos que debe ocupar uno o dos párrafos) las características de las investigación, esto es, el objeto de estudio, la metodología y los resultados;
• la segunda parte dedicada a destacar de modo igualmente somero, la significación de la investigación, esto es, lo más relevantes del trabajo (si es el caso), su originalidad, su oportunidad, o su situación o comparación frente a otros trabajos.

Función

A los autores, leer el resumen preparado por el evaluador les servirá para comprobar si han sabido comunicar bien su investigación, o si el evaluador la ha interpretado bien, ambas cosas pueden dar pie a responder mejor a sus evaluaciones.

Para el evaluador, la necesidad de resumir lo más importante del artículo, es una buena disciplina que aleja el peligro de una lectura superficial o errónea. La necesidad de escribir un resumen coherente señalando lo esencial de la investigación es un buen seguro contra interpretaciones impacientes o apresuradas.

Para los editores, el resumen puede servir para entender mejor el diagnóstico del evaluador y, en su caso, para situar la posible importancia (o no) del artículo para los lectores de la revista.

Elaboración

En el apartado de Fases veremos que se recomiendan, en caso necesario, hasta tres lecturas. La primera de ellas es la que aporta los datos para redactar el resumen.

La segunda lectura se destina a preparar la lista de posibles problemas relacionados con la investigación.

La tercera lectura, de ser necesaria, se destina a revisar aspectos complementarios del artículo y, eventualmente a preparar la lista de recomendaciones.

Naturalmente, este procedimiento de elaboración es una recomendación que se ajustará mejor o peor al estilo cognitivo y los hábitos de trabajo de cada evaluador, de modo que cada evaluador puede ajustarlo.

Apartado 2: lista de aspectos positivos

Como hemos señalado, algunas propuestas recomiendan incluir también un apartado de aspectos positivos del trabajo.

Función

Las razones que se alegan son las siguientes:

• En primer lugar los autores estarán mejor predispuestos a considerar el informe si también incluye los aspectos positivos (en caso de que los tenga, claro).
• En segundo lugar, incluir aspectos positivos de una manera destacada puede ayudar a los editores a situar mejor el valor global del trabajo, incluso si la recomendación es publicar, aunque parezca redundante. Siempre es útil para los editores conocer la valoración de sus expertos para acabar establecer rankings (p.e.) entre los artículos recibidos en una «call for papers«.
• En tercer lugar, se considera adecuado señalar aspectos positivos (si los hay) incluso en el caso de que el dictamen sea el rechazo del artículo. Puede ayudar mucho a los autores a seguir progresando y a presentar una versión mejorada de su trabajo si deciden enviar el artículo a otra revista.

Apartado 3: lista de problemas

La casi totalidad de las recomendaciones en este apartado consiste en dividir el dictamen entre problemas mayores y menores, algo que parece de sentido común, aunque en la práctica no siempre se respeta, ni mucho menos por parte de algunos evaluadores capaces de combinar las cosas de importancia más dispar, por lo cual se entiende bien esta insistencia en las diferentes recomendaciones que hemos examinado.

Función

La elaboración de la lista de problemas mayores y menores cumple la función principal de un informe de peer review a saber: evitar la publicación de trabajos de baja calidad y mejor la calidad de los trabajos publicados.

Además, sin duda ayudará a reforzar todas las demás funciones características, desde asegurar que se citan trabajos anteriores relacionados con la investigación hasta detectar a tiempo malas praxis, etc.

Problemas mayores

Los problemas mayores son los que pueden llevar al rechazo del artículo. Pero que haya problemas mayores no implica un rechazo automático. Implica la necesidad de cambios importantes en el artículo y una segunda ronda de evaluaciones. La razón es que un problema mayor puede darse en un trabajo que, en otros aspectos sea valioso y aporte soluciones, por lo que puede valer la pena intentar salvarlo.

En estos casos, como ya hemos señalado, se condiciona la aceptación del artículo no solamente a que se lleven a cabo los cambios que subsanen estos errores, sino a nueva ronda de evaluaciones de la nueva versión.

Los problemas mayores pueden estar relacionados con el método, la discusión, los resultados, etc., esto es, principalmente con los puntos 1 a 5 de la lista de chequeo, ya que son los que se relacionan principalmente con la investigación.

Problemas menores

Los problemas menores pueden estar relacionados principalmente con aspectos del artículo, como la redacción, la estructura, la bibliografía, etc., esto es con los puntos 6 a 11 de la lista de chequeo.

Los problemas menores no exigen necesariamente una nueva ronda de evaluaciones, pero sí una nueva versión del artículo con todas las mejoras añadidas, salvo razonamiento fundado en contrario de los autores.

Fuente de los problemas

Pese a lo dicho, no debe relacionarse de modo mecánico problemas mayores con problemas de la investigación y problemas menores con problemas del artículo.

Los problemas mayores del trabajo también pueden estar relacionados con una muy pobre redacción, por ejemplo. Ciertamente, lo habitual es que en estos casos, estos manuscritos sean rechazados en la fase editorial, con lo que no suelen llegar a los evaluadores, pero no siempre es así.

Un caso por desgracia habitual para autores de nuestro país (o de países no anglosajones en general) suele ser el de trabajos con una mala redacción en inglés. Un trabajo así puede ser rechazado por un tema de escritura (en fase editorial o por los evaluadores), no solamente por editoriales con sede en países anglosajones, sino también por editoriales con sede en España (u otros países) que publiquen en inglés, porque están igualmente obligadas a revisar la calidad de la redacción, sea en el idioma que sea.

Este es solamente un ejemplo que nos lleva a no relacionar de forma unívoca los problemas mayores con los problemas de la investigación.

Apartado 4: recomendaciones

En teoría, un problema identificado de forma adecuada incorpora de forma implícita, la recomendación correspondiente. Por ejemplo, si un problema es que el resumen está pobremente redactado, es evidente que la recomendación, en caso de hacerse explícita sería: «mejore la redacción del resumen».

Por tanto, podría ser que el apartado de recomendaciones fuera innecesario en algunos casos. Con más razón si las observaciones individuales se han hecho siguiendo la estructura S.E.E.

Pero, según la naturaleza de los problemas, puede ser necesario o puede añadir mucha claridad complementar la evaluación con una lista separada de propuestas o recomendaciones.

Como en otros parámetros, nos encontraremos con la posibilidad de hacer dos tipos de recomendaciones, las que se relacionan con la investigación en sí (en cuyo caso serán específicas de cada investigación) y las que suelen ser comunes para toda clase de trabajo, p.e., mejoras en la redacción o recomendaciones sobre la bibliografía.

Función

La función de este apartado, cuya necesidad es variable, es aumentar el valor del informe de revisión para los autores, aportando una lista separada con propuestas para la mejora de su trabajo. Es un servicio adicional y muy valioso que los evaluadores más experimentados pueden prestar a los autores y, con ellos, a la revista, que acabará publicando un artículo de mucha mayor calidad.

Recomendaciones específicas

Las recomendaciones específicas son las relacionadas con la investigación en sí. Por ejemplo, el evaluador puede detectar un problema consistente en falta de claridad en la metodología utilizada. En lugar de limitarse a señalar la deficiencia, podría añadir una recomendación orientadora de porqué y cómo se podría aclarar este punto.

Recomendaciones de redacción

Aquí, hay dos apartados donde se pueden hacer recomendaciones de forma general a casi cualquier trabajo:

• Redacción. Una forma especialmente útil de recomendaciones de mejora es señalar apartados que puedan necesitar mejoras en la redacción por falta de claridad o por deficiencias en la misma. También si se detectan errores factuales de cualquier tipo. No es obligación del evaluador señalar todos y cada uno de los problemas, y mucho menos corregirlos. Debe limitarse a señalar los apartados que necesiten una nueva redacción y puede dar orientaciones generales, p.e.: «hay párrafos excesivamente largos que abusan de oraciones subordinadas, se deben desagregar en párrafos más cortos en los que haya una idea principal». Con esto, la labor del evaluador es más que suficiente.
• Bibliografía: tanto en completud y oportunidad como en formato. El apartado de bibliografía también puede recibir propuestas de mejora: obras o autores ignorados, pocas referencias actuales (últimos 5 o 6 años), pocas referencias internacionales, formatos inconsistentes, etc.

Listar y numerar

Tanto la lista de problemas, como la de recomendaciones (en su caso) debería presentarse como tal, esto es como una lista, o al menos de la forma más estructurada posible. Lo ideal, sería numerar cada observación.

Sin esta medida, los evaluadores tienden a la mala práctica de presentar largos párrafos discursivos con diversas consideraciones entrelazadas, de manera que un solo párrafo puede contener varios problemas, a veces de naturaleza totalmente dispar.

En cambio, tanto si los problemas como las recomendaciones se presentan numeradas es mucho más fácil para los autores examinar las propuestas y aplicar los cambios, y a los editores y a los propios evaluadores comprobar la eficacia de su aplicación en las nuevas versiones.

Lo que nunca se debe hacer

Lo que no es correcto es proponer investigaciones nuevas o adicionales en interés del evaluador. Por un lado ninguna investigación es completa en sí misma. Por otro lado, es de sentido común que cada investigador habría hecho el trabajo de otra manera. Los evaluadores no deberían sorprenderse del simple hecho de que ellos lo hubieran hecho de otro modo. Esto no significa nada: se llama diversidad humana.

No es casual que uno de los apartados de la normas COPE sobre ética de la evaluación señala explícitamente (el destacado es nuestro):

No es tarea del revisor extender la obra más allá de su alcance actual. Sea claro en términos de cuáles (de existir) investigaciones adicionales se sugieren como esenciales para respaldar las afirmaciones realizadas en el manuscrito en consideración y cuáles simplemente fortalecerían o extenderían el trabajo.

(COPE, 2018)

Una cosa es que se pueda argumentar de manera rigurosa que una investigación adicional es imprescindible para que el trabajo tenga algún sentido. Pero entonces, puede ser que el trabajo tenga un problema grave y tal vez lo que proceda sea rechazarlo, siempre con la debida justificación.

Pero si el evaluador no es capaz de justificar su necesidad esencial, debe evitar propuestas frívolas, y debe abstenerse de proponerla. En todo caso, autores y editores deben ignorarla por los motivos que ya hemos indicado.

Lo que siempre se debe hacer: informes estructurados

Además de los apartados anteriores, es cada vez más frecuente que las revistas utilicen un formulario o plantilla con componentes como los que hemos mostrado en los Puntos de chequeo y en los ejemplos de las editoriales. En este caso, el informe de revisión puede tener varias secciones:

• Formulario con respuestas a diversos puntos, con observaciones muy precisas o mediante casillas de verificación, o mediante respuestas Sí/No, o con selección de grados de cumplimiento, etc. Estos puntos de verificación suelen coincidir con los que se indica en la lista de chequeo.
• Informe para los autores, con la estructura mostrada más arriba (resumen, problemas mayores, problemas menores, recomendaciones) o la que hemos visto en el caso de Publons.
• Informe para los editores. Este apartado, en caso que la revista lo contemple (aunque es una opción que siempre puede invocar el revisor) se suele reserva para informaciones sensibles, por ejemplo, conflicto de intereses, plagio, texto reciclado en exceso, etc. Algunas editoriales lo consideran obligatorio y en este caso, aquí puede ir, como mínimo, el resumen del evaluador y una apreciación general de la oportunidad del artículo, así como aspectos sensibles como los que hemos indicado, si fuera el caso.

La regla de oro

Varias de las recomendaciones sobre como escribir el informe de evaluación de un artículo mencionan la «regla de oro«, que se suele formular, en el caso de las revisiones, de este modo:

Una forma que nos parece especialmente eficaz de aplicar esta regla es la siguiente:

• Una vez redactada la evaluación, y aunque la misma sea del tipo simple o doble ciego, el evaluador debe responderse a sí mismo esta pregunta: «¿cambiaría alguna cosa de mi informe si se hiciera público junto con mi nombre?»

Casi con toda seguridad, si había alguna observación rudamente formulada, o redactada de forma frívola, o subjetiva, nos daremos cuenta enseguida de la necesidad de cambiarla. Lo mismo sucederá si, amparados en el anonimato, se nos ha escapado alguna afirmación completamente gratuita, como «los artículos no deben poner objetivos» o «el SEO académico no existe» (dos casos reales).

Formato de las observaciones: la estructura S.E.E.

El curso sobre peer review de Publons Academy, el que nos referimos varias veces a lo largo de este artículo, propone una estructura general para las observaciones de los evaluadores que es sumamente interesante.

La estructura se denomina S.E.E. y significa lo siguiente:

• Haga una declaración (Statement)
• Explique sus razones (Explain)
• Proporcione un ejemplo (Example)
• Sugiera una solución

Realmente, si en todas y cada una de las observaciones, el evaluador puede seguir esta estructura, si informe podrá ser de enorme calidad. La siguiente captura muestra un ejemplo de una observación que sigue la estructura S.E.E:

Otra virtud de la estructura S.E.E. es que, además de que les proporciona enorme rigor, tiene el fabuloso potencial de evitar las observaciones gratuitas y superficiales que no superen el test de convertirse en tales observaciones S.E.E.

Fases

Las fases de trabajo que se proponen a continuación contemplan, de forma secuencial, la toma de decisiones, la revisión, la toma de notas, la redacción final, la revisión del informe final, el envío del informe con el dictamen y posibles acciones post-informe. Lo vemos a continuación.

1. Primera toma de decisión: ¿evaluar o no evaluar? Antes que nada, debemos considerar si tenemos la capacidad para evaluar un trabajo sobre el tema, al menos tal como lo muestra el título y el resumen del artículo. Parece un aspecto elemental, pero debemos hacer hincapié en el mismo ante malas prácticas que todos, en alguna ocasión, incluso en revistas de prestigio, hemos sufrido, al recibido informes que demostraban la completa ignorancia del evaluador en el tema. Penoso, pero muy real. No es necesario ser un experto en todos los apartados de la investigación, y no debemos tener reparos en señalar nuestras limitaciones para partes concretas a los editores (un clásico pueden tratamientos estadísticos muy especializados), pero sí hemos de tener competencias en el tema principal. Si, una vez aceptada la evaluación en base al título y resumen, al acceder al texto completo descubrimos que no somos competentes, no debemos tener ningún reparo en declinar la evaluación.

2. Segunda toma de decisión: ¿podré cumplir el plazo? Es igualmente importante, hacerse esta pregunta antes de aceptar la evaluación. Los retrasos en la entrega de los informes perjudican a los autores y a los editores, y añaden trabajo extra para todos. No se debería aceptar una evaluación si no se está seguro de respetar los plazos propuestos por la revista. Si el evaluador se encuentra en una situación sobrevenida que le va a retrasar en la entrega, es recomendable contactar al editor e informarle. El trabajo de evaluación cuesta el mismo tiempo, tanto si se hace nada más recibir la propuesta, como si se deja para más adelante. Procrastinar, raramente tiene sentido, y en este caso menos que nunca.

3. Leer las instrucciones de la revista. Si hemos aceptado la evaluación por buenos motivos, hay que examinar las instrucciones tanto para revisores como para autores de la revista, salvo que ya conozcamos muy bien la publicación por haber hecho evaluaciones muy recientes.

4. Primera lectura general. La lectura general nos permite tener una visión global sobre la calidad de la investigación y del artículo y, en consecuencia, nos permite tener un primer diagnóstico, aunque sea provisional. Es muy aconsejable empezar ya la toma de notas.

5. Segunda lectura para aspectos concretos. En esta lectura consideramos los aspectos vinculados con la investigación: la metodología, los resultados, la discusión, etc., de aquí saldrán los posibles problemas que en la lista de comprobación hemos señalado del 1 al 5.

6. Tercera lectura para aspectos concretos. Esta lectura nos permite centrarnos en los aspectos propios del artículo y su redacción. Observamos el título, el resumen, la redacción, la estructura, etc. De aquí saldrán las observaciones o posibles problemas que en la lista de comprobación hemos numerado del 6 al 11. Como en el caso anterior, la toma de notas no solamente nos ayudará a a redactar el informe, sino que nos ayudarán a pensar. Los pasos 5 y 6, obviamente se pueden intercambiar. Algunos evaluadores pueden preferir revisar primero los aspectos de redacción y estructura del artículo, y después los que corresponden a la investigación. Esto no altera el proceso.

7. Documentación y verificación adicional. En algunos casos, puede ser útil hacer una búsqueda sobre el tema del artículo, para lo cual podemos utilizar Google Scholar, a fin de tener una visión rápida de lo más importante y los más reciente que se haya publicado sobre el tema. Explorar algunos de los resultados principales de la búsqueda (leer al menos el título y el resumen) nos puede ayudarnos a entender mejor el trabajo, detectar insuficiencias, a comparar algún estudio similar, etc. En algún caso, puede llevarnos a reconsiderar algún apartado de nuestra evaluación.

8. Última revisión de nuestro informe. Una vez considere que el informe está completo, es aconsejable hacer una última revisión al informe antes de darlo por finalizado, sobre todo si se trata de una evaluación donde los aspectos negativos predominan.

9. Dictamen final y envío del informe. Cuando el evaluador considere que ya ha completado su revisión, al subir su evaluación a la plataforma de la revista (o al enviar por correo su informe), normalmente deberá elegir una de estas tres opciones: (1) aceptado con cambios menores, (2) aceptado con cambios mayores, (3) rechazado. El lector atento habrá observado que la opción «aceptado sin cambios» no aparece. La razón es que se considera muy extraño que un artículo no tenga aspectos mejorables. Además, los evaluadores se resisten a no señalar nada, porque inevitablemente parecerá que no han hecho su trabajo. La opción «aceptado sin cambios» es una prerrogativa de los editores de la revista ante trabajos de naturaleza excepcional que, en principio, se supone que raramente es utilizada.

10. Después de la evaluación. En los casos de artículos aceptados con cambios mayores, el evaluador debería estar dispuesto para revisar la nueva versión del trabajo. Es posible que algunos cambios no hayan sido bien implementados, en cuyo caso deberá sopesar la opción de rechazar el artículo de forma definitiva. Pero también es posible que los autores argumenten de forma convincente su motivo para no hacerlo. En este caso es necesario que el evaluador considere con atención y respeto estas propuestas. El evaluador deberá tomar aquí una segunda (y en general) definitiva decisión.

Una vez examinados los pasos anteriores, y a fin de mostrar una visión complementaria, a continuación vemos que Publons, a través del curso sobre peer review al que ya nos hemos referido, propone una revisión siguiendo lo que denomina el método de los 4 pasos:

Bonus

A continuación una serie de aspectos complementarios a todo lo revisado, que pueden se de ayuda para acabar en entender todo el proceso.

Consejos para producir informes relevantes para los editores

Ahora vamos considerar las cosas, como hacen los autores del siguiente recuadro, quienes, tras analizar una muestra de los mejores informes de peer review según los editores, confeccionaron una lista de 5 consejos:

Para entender la lista de la captura precedente, hay que considerar que las Entities son partes concretas del artículo revisado, como los objetivos y la metodología, mientras que los Adjectives, son términos utilizados para valorar cada parte, como «original», «innovador», o «útil», «valioso», etc.

En resumen, según estos autores, los mejores informes de revisión según los editores son los que se refieren a un mayor número de componentes del artículo utilizando un vocabulario más expresivo. Parece bastante lógico, pero siempre está bien que un estudio lo confirme con datos empíricos.

Tiempo: ¿cuánto se tarda en hacer una evaluación?

Las estimaciones presentan un horquilla enorme: entre 2 y 8 horas. Sin embargo, según estimaciones propias, llevar a cabo una evaluación de un artículo estándar (sin especiales complicaciones ni de extensión ni de tema) requiere unas 2-3 horas.

Otros autores (Ware, 2011), calculan el promedio de tiempo necesario en unas 5 horas, mientras otros lo sitúan entre 5 y 8 horas (Huisman y Smits, 2017). No obstante, también podemos encontrar autores como Faff (2015) que lo sitúan en 2-3 horas (cosa que coincide con nuestra propia experiencia).

Es evidente que el tiempo total dependerá de dos factores: la naturaleza del artículo (dificultad, extensión, etc.) y la experiencia del evaluador. Pero lo que es importante tener en cuenta es que evaluar un artículo es una cuestión de horas, no de días ni semanas. Si lo vemos así, podemos ser menos reacios a aceptar evaluaciones.

Tampoco hay motivo para procrastinar la evaluación pensando que vamos a necesitar una semana entera despejada en nuestra agenda para hacerla, porque nunca sucederá. Es mucho mejor darse cuenta que es una tarea que nos puede requerir unas pocas horas y afrontarla cuantos antes.

Cómo no hacer las cosas

Por alguna buena razón, parece que abundan las listas sobre cómo no hacer la cosas en el campo del peer review, y aquí tenemos dos:

(1)

En la lista precedente vemos 5 cosas concretas que NO deben hacerse. Destacamos 3 de ellas que nos parecen especialmente importantes: los argumentos ad-hominem, las apreciaciones basadas en prejuicios y las propuestas para que los autores incluyan referencias del evaluador (o de personas de su equipo) sin razones científicas.

(2)

En esta segunda lista, Blocken señala 10 cosas que NO deben hacerse, entre las cuales destacaría la 6: obviar partes clave del artículo; la 9: presentar recomendaciones antiéticas (como proponer referencias del evaluador) o la 10: no aplicar la «regla de oro».

Aspectos éticos y pragmáticos

En cuanto a los aspectos éticos, es necesario seguir lo dispuesto por organismos como el COPE en este sentido. En lo que sigue, y sin perjuicio de consultar sus Guidelines, cosa que recomendamos vivamente, podemos señalar lo siguiente:

• El evaluador debe cumplir su misión con objetividad y honestidad. Lo que los editores esperan es una evaluación sincera e imparcial de los puntos fuertes y débiles del manuscrito y cualquier otra cosa (sesgos, manías personales, prejuicios, etc.) está fuera de lugar.
• Debe leer el artículo con atención y en toda su integridad, incluyendo materiales complementarios, así como debe seguir las indicaciones de la revista (si están disponibles) para la presentación de su información en cuanto a formato y otras características.
• Si, por alguna razón, se ha abstenido de evaluar algunas partes del manuscrito por razones de especialidad o competencia debe informar a los editores cuando envíe su evaluación.
• Debe rechazar la evaluación si no conoce bien el tema o la parte sustancial del mismo. Igualmente, si existe un conflicto de intereses.
• No puede utilizar la información a la que ha tenido acceso como parte de la revisión antes de que el artículo se publique, y por supuesto no puede utilizarla en perjuicio de los autores.
• Si identifica aspectos que van contra la ética en el artículo que está evaluando, debe contactar con la revista y solicitar instrucciones al respecto. Es importante recordar lo que la Guía COPE (2018) indica en este sentido: «(…) de haber cualquier otra inquietud de tipo ético, contacte al editor directamente y no intente investigar por su cuenta. Es apropiado cooperar en forma confidencial con la revista, pero no investigar personalmente salvo que la revista solicite información adicional o asesoría»
• Si se trata de una evaluación donde conoce la identidad de los autores (simple ciego, p.e.) esta no puede quedar afectada por cuestiones de género, nacionalidad o afiliación de los autores.
• El evaluador no puede aprovechar su posición para hacer recomendaciones basadas en la búsqueda de su propio beneficio, como recomendar bibliografía propia.
• No es competencia del evaluador extender la investigación más allá de su alcance actual. Si considera que el trabajo requiere análisis adicionales debe justificarlo en base a razonamientos sólidos, no dejándose llevar por la intuición o por lo «él hubiera hecho».
• El tono de su informe debe ser de respeto con el trabajo y con los autores. Están fuera de lugar los juicios de valor, las descalificaciones y en general un lenguaje rudo o desconsiderado con los autores.
• No debe utilizar el anonimato como una oportunidad para ser arbitrario. No debe hacer afirmaciones que, en caso de que el informe se publicara con su nombre, se cuidaría mucho de hacer.

En cuanto al pragmatismo, volveremos aquí a algunas cosas que han quedado dispersas en los puntos anteriores:

• No vale la pena procrastinar, cosa que además causa un grave perjuicio a terceros. Ya hemos dicho que una evaluación, salvo casos de especial complejidad, se puede resolver en cuestión de unas pocas horas.
• Numerar. El informe debería estar libre de toda consideración lateral o comentario innecesario, y cada problema se debería tratar por separado, en una línea o un párrafo. Lo ideal sería enumerar cada propuesta o problema y cada recomendación (en su caso).
• Primero lo positivo. Es recomendable empezar por los aspectos positivos, no solamente en el caso de que se acepte (con cambios menores o mayores), sino incluso en el caso que se proponga el rechazo. Si empezamos con los aspectos positivos es más fácil que los autores lean la totalidad del informe, y nuestras observaciones pueden ayudar a los autores para que mejoren sus futuros trabajos. En todo caso, es una cuestión de respeto al trabajo ajeno empezar por los aspectos positivos, en especial si después vamos a ser muy críticos. Lo contrario, nos resta credibilidad.
• Rigor. El registro ideal del informe es el que tendría si la evaluación fuera a ser publicada con el nombre del evaluador junto al artículo evaluado, como se hace en los casos de open review. Mi consejo es que al redactar el informe lo hagamos bajo esta premisa aunque nuestro informe no vaya a ser publicado nunca. Esto tiene el efecto de obligarnos a ser mucho más rigurosos y evitar afirmaciones gratuitas o poco fundadas.
• Lo que hay. Se debe evaluar el trabajo en sí, es decir, tal como es, con la metodología utilizada y el objeto de estudio elegido, no en base a aquello que como evaluadores nos hubiera gustado hacer de haber sido nosotros los autores, porque es de sentido común que hubiéramos hecho algo diferente. En cambio, falta de claridad en los resultados, mala elección de la metodología, deficiente aplicación de la misma, o datos incompleto, sí serían problemas reales, por supuesto.

Por qué (se supone que) queremos ser evaluadores

No se puede cerrar esta guía sin preguntarnos porqué se supone que un investigador podría querer ser evaluador. Si lo miramos de cierta forma, parecería que solo hay aspectos negativos: es un trabajo que no suele ser remunerado, cada evaluación ocupa al menos varias horas y además suele ser un trabajo anónimo.

Así que convendría señalar algunas de las razones por las cuales se supone que un investigador, joven o senior, querría ser evaluador:

• En primer lugar, aunque me temo que no sea el argumento más convincente para todos, debemos señalar el más poderoso desde el punto de vista de la responsabilidad: debemos prestarnos a esta labor porque así lo requiere el bien del progreso científico. Además, si hemos publicado gracias a que ha habido personas que han ejercido de evaluadores de nuestros artículos, lo menos que podemos hacer es devolver ese servicio a la comunidad académica aceptando ser también ser evaluadores.
• En segundo lugar, porque forma parte del currículo de un investigador. Esto es, poder demostrar que se es elegido como evaluador por determinadas revistas es un componente adicional de acreditación de una carrera académica. Por tanto, el trabajo que, ciertamente es anónimo y no remunerado, en realidad tiene recompensa. Las revistas pueden proporciona certificados de que hemos sido evaluadores, y es un componente valioso de nuestro CV,
• En tercer lugar, se obtiene información privilegiada al leer contribuciones científicas que pueden tardar meses en hacerse de conocimiento público. Es un beneficio que redunda en nuestro crecimiento personal, a la vez que debemos recordar que una norma ética elemental, que ya hemos mencionado, prohíbe hacer un uso práctico de la misma hasta que no se publique el artículo.
• En cuarto lugar, ayuda al networking del investigador, al establecer relaciones con editores de revistas. Esto no se puede traducir en que sus trabajos vayan a tener más facilidades que otros (cosa que sería antiética), sino en el hecho elemental que los editores son también colegas de profesión con los que en el futuro puede trabajar, o porque puede recibir a su vez encargos como editores invitados, lo que tiene impacto directo en el CV, etc.

Podríamos citar como una razón adicional que algunas revistas remuneran a los autores (no en metálico, pero si en forma de descuentos para publicar), pero esto no debería ser un motivo de rechazo de colaboración con aquellas que no lo hacen (que por otro lado son la mayoría).

Por último, en este apartado es obligado mencionar la labor de la empresa Publons, actualmente parte del grupo Clarivate Analytics (propietaria de Web of Science) que impulsa una actividad de reconocimiento del peer review como parte del currículum académico, de modo que redunde de forma más directa en beneficios para los revisores. Ciertamente, también están generando a partir de aquí un modelo de negocio con las editoriales. Si es transparente y consiste en una operación win/win para autores, revisores y editores, bienvenido sea.

Conclusiones

La evaluación de artículos científicos mediante el sistema denominado peer review, o de evaluación por colegas con similares competencias, es de una importancia fundamental para la ciencia en general, y para la comunicación académica.

Ciertamente, el sistema peer review presenta un balance de ventajas e inconvenientes, y desde luego no es perfecto, pero esto no es significativo en sí mismo, dado que no se conoce ninguna invención humana de la que se pueda decir lo contrario. Lo que importa es si el balance entre inconvenientes y ventajas arroja un saldo positivo, y todo indica que es así.

La cuestión es que los buenos investigadores, más pronto que tarde, acabarán recibiendo peticiones para actuar como evaluadores cuando empiecen a destacar en su campo.

Entonces es muy importante que los evaluadores conozcan los procedimientos más básicos de esta importante función, sus restricciones éticas y pragmáticas, los puntos en los cuales los informes de evaluación pueden ser más útiles, y por tanto, todo aquello que los editores y los autores evaluados esperan de ellos.

Si se siguen algunos procedimientos como los mostrados aquí, y que el lector interesado puede encontrar desarrollados en las fuentes que se citan a continuación, las evaluaciones pueden generar informes de alta calidad, algo que beneficiará a todos, porque estarán contribuyendo a consolidar un ecosistema de información académico cada vez mejor para todos.

Por último, y presidiendo todo lo anterior tenemos dos importantes reglas: la primera nos dice que ante todo hemos de seguir rigurosamente la indicaciones de la revista (si están disponibles). En este caso, las propuestas de esta guía deben considerarse un complemento o una orientación general adicional. La segunda, es la llamada golden rule: «evalúa a los demás como te gustaría ser evaluado».

Nota sobre el título

El autor al que se refiere el título de este entrada es tanto el del informe de evaluación como el del artículo que va a ser revisado. A la vez, es un torpe intento de homenaje a la obra de Kovach y Rosenstiel: Los elementos del periodismo: todo los que los periodistas deben saber y los ciudadanos esperar (Madrid: Aguilar, 2012). No tiene nada que ver con el tema, pero es una obra inspiradora allá donde las haya y me parece que siempre es el momento de recordarla en esta era de desinformación.

Para saber más

• Blocken, Bert (2017). «Ten tips for a truly terrible peer review». Reviewer’s Update. September 12, 2017.
• Codina, Lluís (2017). Peer review y revistas científicas. Octubre 2017.
• Codina, Lluís (2018). Publicación académica: revisión de factores para el éxito. Septiembre 2018.
• Codina, Lluís (2019). Cómo responder a la evaluación (peer review) de un artículo científico.
• COPE Council (2017). COPE Ethical Guidelines for Peer Reviewers. [pdf]. September 2017
• COPE Council (2018). Guías éticas para revisores pares [pdf]. Hampshire: COPE, 2018.
• Elsevier (2019a). Elsevier for reviewers. [Consulta: 25/1/2019]
• Elsevier (2019b) Reviewer Guidelines [Consulta 25/1/2019]
• Falkenberg, Laura J.; Soranno, Patricia A. (2018). «Reviewing Reviews: An Evaluation of Peer Reviews of Journal Article Submissions». ASLO, February 2018. Acceso: https://aslopubs.onlinelibrary.wiley.com/doi/pdf/10.1002/lob.10217.
• Hames, Irene (2007).  Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
• Hames, Irene (2013). COPE Ethical Guidelines for Peer Reviewers. March 2013
• Huisman, Janine; Smits, Jeroen. (2017). «Duration and quality of the peer review process: the author’s perspective». Scientometrics, October 2017, v113, n. 1. Acceso. https://link.springer.com/article/10.1007/s11192-017-2310-5.
• MDPI (2019). Guidelines for Reviewers [Consulta: 25/1/2019]
• PLOS (2019). Reviewer Center [Consulta: 25/1/2019]
• PLOS (2020). Your Peer Review Toolbox [Consulta: 29/7/2020]
• Publons (2019a). Peer review resources [Consulta: 25/1/2019]
• Publons (2019b). Publons Academy [Consulta: 25/1/2019]
• Faff, Robert (2015). Advice for early career peer reviewers. Publons. October 2015.
• SAGE Publishing (2019). Resources for reviewers & Frequently Asked Questions [Consulta: 25/1/2019]
• Sense about Science (2019). Activities > Peer review [Consulta: 25/1/2019]
• Springer (2020). Como hacer una revisión por pares [Consulta: 29/7/2020]
• Stiller-Reeve, Mathew (2018). A Peer Review Process Guide [pdf]. April 2018
• Stiller-Reeve, Mathew (2018). «How to write a thorough peer review». Nature, October 2018.
• Taylor and Francis (2019). Understanding peer review [Consulta: 25/1/2019]
• Ware, Mark (2011) «Peer Review: Recent Experience and Future Directions». New Review of Information Networking, 16:1,23-53, DOI: 10.1080/13614576.2011.566812
• Wilson, Julia (2012). Peer review: the nuts and bolts [pdf]. London: Sense About Science.
• Wiley (2019). How to perform a peer review [Consulta: 25/1/2019]