Peer review, revistas científicas y ciencia evaluada: introducción para jóvenes investigadores

Máster Universitario en Comunicación Social
Un Máster Universitario suele ser el primer contacto con el peer review y la ciencia evaluada de un joven investigador. En la imagen, parte del sitio web del Máster Universitario en Comunicación Social de la UPF

Edición Octubre 2017

Para entender el denominado sistema peer review, por el que se rigen las normas de publicación en las revistas científicas de casi todo el mundo, es importante considerar que este método se encuadra dentro de otro más general, al que podemos llamar ciencia evaluada.

¿Qué es la ciencia evaluada?  Por esta denominación nos referimos a una de las características más definitorias de la ciencia “moderna”. Se puede enunciar como el principio general según el cual los conocimientos científicos no se aceptan como tales si no han superado determinados procesos independientes de evaluación.

Recordemos algo que seguramente forma parte de la experiencia de cualquier joven investigador. En la mayor parte de las universidades, los Trabajos de Final de Máster, se evalúan mediante un tribunal compuesto por varios profesores. Pues bien, aún sin conocerlo bajo este nombre, nuestro joven investigador tuvo en esa experiencia su primer contacto con la ciencia evaluada.

El contexto de la ciencia evaluada

El punto importante es que, a partir de aquí, toda la ciencia que produce un académico en su vida posterior seguirá siendo evaluada. Sus siguientes actividades académicas se caracterizarán siempre por alguna forma de evaluación, tal como recoge la siguiente tabla.

Tabla 1: Actividad y Modalidades de Evaluación

IDActividadResultado/
Producto
Tipo de
evaluación
1Obtención de un título de MásterTrabajo Final de MásterTribunal de profesores
2Obtención de un título de DoctorTesis Doctoral[Evaluación externa] + tribunal de profesores
3Investigaciones pre o post doctoralesArtículos enviados a revistas académicas para su aprobaciónEvaluación por expertos, también llamada peer review por su denominación en inglés
4Solicitud de financiación para desarrollar líneas de investigaciónProyecto de investigación enviado a agencias u organismos de financiación de la investigación para su aprovación
5Desarrollo de investigacionesMemorias anualesRevisión por expertos
6Carrera investigadoraSolicitud de reconocimiento de actividad investigadoraTribunal de expertos

Nota: hemos reflejado en esta tabla el sistema evaluador español, similar al modelo internacional dominante, pero aun así puede haber diferencias con otros países, salvo en la Actividad 3, que es prácticamente universal. 

En la Tabla 1 hemos destacado la fila 3. El motivo es que, a partir de ahora en esta entrada nos centraremos en presentar:

  • Cuál es el criterio que permite determinar si una revista es científica (o no)
  • Cómo es el ciclo característico de producción de la ciencia evaluada tomando como referente la elaboración de artículos científicos
  • En qué consiste el proceso denominado peer review

¿Qué es y qué no es una revista científica?

En el ecosistema de la publicación científica, los artículos de revistas científicas (papers) tienen un papel muy destacado. Tradicionalmente, se ha considerado que, mientras los libros o monografías cumplen una misión de divulgación, los artículos de revistas cumplen la de dar a conocer los nuevos desarrollos científicos, y por tanto la de hacer avanzar la ciencia.

El esquema anterior, aunque puede variar para algunas ciencias sociales y especialmente en las humanidades, donde la monografía o el libro es también muy valorado, es la visión dominante en las ciencias experimentales y en general en aquellas disciplinas que se consideran más avanzadas o más maduras.

Otro de los grandes consensos internacionales es que una revista no es científica por los temas que aborda, sino por la forma en que lleva a cabo su proceso de selección, análisis y publicación editorial. Por decirlo de otro modo, en los quioscos (físicos o virtuales) podemos encontrar un número de revistas dedicadas a temas de actualidad científica, como Scientific American, Muy Interesante, y otras.

Se puede decir que son publicaciones de ciencia, que tratan sobre ciencia o que informan sobre temas científicos, pero, sin embargo, en sentido estricto, no se consideran revistas científicas. El motivo que les impide ser consideradas revistas científicas es que no utilizan el sistema peer review.

En el siguiente apartado, consideraremos en qué consiste. Por el momento, hemos de señalar que, de acuerdo con lo dicho, para una buena parte de las disciplinas científicas incluyendo también las Ciencias Humanas y Sociales, la ciencia se comunica y desarrolla principalmente a través de artículos de revistas.

Por consiguiente, los investigadores, incluyendo los autores de tesis doctorales y de trabajos de final de máster, deben utilizar de forma predominante artículos publicados en revistas científicas para conocer el estado de la cuestión de sus respectivas disciplinas, sin perjuicio de usar otro tipo de fuentes, como libros o actas de congresos.

Dicho de otro modo, en el consenso dominante sobre la investigación científica se admite que los investigadores utilicen todo tipo de fuentes de información, pero NO pueden NO utilizar artículos de revistas científicas.

 

Parte del sitio web de una publicación que aplica el sistema peer review
La revista EPI es una publicación científica porque utiliza el sistema peer review, como tantas otras que forman el ecosistema internacional de las publicaciones académicas evaluadas

Funcionamiento del sistema peer review

Recordemos que hemos dicho que, sin el rol que juegan las revistas científicas en la comunicación, discusión y difusión de los nuevos conocimientos, se considera inviable hacer ciencia. Hemos dicho también que solamente se consideran científicas aquellas revistas que utilizan un sistema conocido como peer review. Es hora, pues, de hablar de él, dado el papel central que estamos viendo que posee. 

En el llamado sistema de peer-review o de evaluación por pares intervienen tres actores:

  • Los autores del artículo
  • Los editores de la revista
  • Los evaluadores del artículo

Y al menos dos fases:

  • La evaluación editorial, donde el artículo es aceptado o rechazado por los editores de la revista
  • La evaluación por pares en sí misma, en el caso de los artículos que han superado la evaluación editorial.

Evaluación editorial

Todo el proceso comienza cuando un autor (o el llamado autor de correspondencia, en el caso de autoría múltiple) decide enviar un artículo a una revista académica. Este acto puede corresponder a iniciativa propia o porque tal revista ha llevado a cabo una llamada para quienes deseen publicar trabajos en su próximo número (call for papers). A este artículo que aún no ha sido publicado le llamaremos, a partir de ahora, manuscrito a efectos de presentar mejor todo el proceso, que sigue con las siguientes fases:

  • Un editor (o grupo de editores) de la revista examina el manuscrito y adopta una decisión en relación con si es aceptado (para su posterior evaluación) o, por el contrario, es rechazado.
  • Si el manuscrito es rechazado, esta decisión no admite (en términos generales) ninguna clase de revisión posterior.
  • Si el manuscrito es aceptado, entonces pasa a la segunda fase, la de evaluación por pares que es el que otorga su nombre al peer-review.

Algunas aclaraciones adicionales ayudarán a entender un poco mejor los puntos precedentes. En primer lugar, la decisión de aceptar o no un trabajo se basa en (al menos) dos grupos de criterios:

  • La calidad general del trabajo
  • La adecuación del tema a la línea editorial de la revista

Sobre la calidad del trabajo, los criterios son los que puede esperarse del mundo académico: los editores esperan, sobre todo, trabajos originales, llevados a cabo con garantías metodológicas, con aportes reales, con temas o enfoques interesantes, bien escritos, con una buena presentación formal, etc. La razón es obvia: la obligación de los editores es seleccionar lo mejor (no lo peor).

 

Diagrama sobre el proceso de peer review
El proceso completo del peer review en un excelente diagrama. Fuente: Elsevier

Línea editorial

Sobre la adecuación a la línea editorial la cuestión varía de una publicación a otra. En general, obviamente, los editores rechazarán los trabajos que no se ajusten al tema de la revista. Parece extraño que esto suceda pero sistemáticamente, un cierto número de manuscritos que llega a las revistas no tienen nada que ver con el tema de las mismas.

Sucede que, a veces, los autores tienen una percepción del alcance de sus temas, o de las revistas, que no es realista. Otras veces, los editores pueden equivocarse y decidir, por una mala inspección del trabajo, que no corresponde con su línea editorial (tengo experiencias propias en este sentido). ¡Nadie ha dicho que el sistema peer review sea perfecto!

Pero además del alcance temático, las políticas editoriales pueden contemplar otros requerimientos, Veamos algunos de los criterios más comunes para aceptar un artículo (o rechazarlo) en fase editorial:

  • Tipo de investigación. La mayoría de las revistas rechazan lo que consideran ciencia básica. Es decir, si consideran que el artículo es mera divulgación, lo rechazarán. Hay revistas que preferirán trabajos de alcance muy general, y rechazarán trabajos que describen, por ejemplo, experimentos muy concretos, o conteos de datos muy específicos. Muchas revistas prefieren trabajos que involucren a más de una disciplina, mientra que otras, todo lo contrario, preferirán trabajos exclusivamente centrado en una sola área o incluso trabajos dentro de una micro especialidad.

  • Metodología predominante, por ejemplo, trabajos cualitativos o, por el contrario, cuantitativos, o exclusivamente resultados basados en datos empíricos, etc.

  • Géneros. Algunas revistas dan a conocer listas de géneros científicos preferentes o, por el contrario, no preferentes: por ejemplo, pueden declarar que prefieren revisiones generales o estados de la cuestión; o, por el contrario, solo aceptar diseños experimentales y de ningún modo trabajos de revisión o modelos conceptuales, etc. Es importante considerar que algunas de las mejores revistas contemplan más de un género.

  • Temas preferentes o expresamente rechazados. En ocasiones, las revistas pueden declarar preferentes trabajos que se ocupen de una determinada tendencia o enfoque, tal vez porque se considera que ha sido muy poco tratado en números anteriores o, por el contrario, pueden declarar enfoques o temas que no serán aceptados, precisamente por haber sido excesivamente tratada en número anteriores.

Lo que nos dice todo esto es que no es razonable enviar un manuscrito a una determinada publicación sin revisar al menos tres apartados: a) sus políticas editoriales generales, b) las preferencias para los próximos números y c) las páginas destinadas a informar a los autores de las normas y detalles de algún tipo (p.e. formato de citación, preparación del manuscrito, etc.) que su artículo debe cumplir para poder enviarlo con perspectivas de éxito razonable.

En estas últimas normas, es importante observar con detenimiento las que se refieren al proceso de evaluación por pares (peer review) que consideramos a continuación. Como veremos más adelante, muchas revistas (especialmente en Humanidades y Ciencias Sociales) aplican un tipo de evaluación que requiere que el manuscrito se envíe cumpliendo determinadas condiciones de anominato. No tenerlas en cuenta será causa de rechazo editorial.

Evaluación por pares

Si un manuscrito ha superado la evaluación editorial, pasa a la fase de la evaluación por pares o sistema peer-review propiamente dicho. Las fases de esta evaluación, en su modelo mayoritario, al menos en ciencias sociales y humanidades, son las siguientes:

  1. Los editores seleccionan y proponen la evaluación del artículo al menos a dos expertos en el tema del manuscrito.
  2. Una vez los evaluadores aceptan, disponen de un tiempo prudencial para hacer llegar a los editores su dictamen razonado sobre el manuscrito.
  3. El dictamen puede contemplar tres opciones:
    1. El manuscrito es aceptado sin cambios requeridos. Esto significa que se acepta para que sea publicado tal como ha llegado originalmente.
    2. El manuscrito es rechazado sin posibilidad de apelación por insuficiencias en su desarrollo, alcance, interés, etc., o incluso por errores conceptuales, o de diseño, o por detección de malas práctica (plagio, p.e.) o por conflicto de intereses, o por considerarse de mala calidad en general. Al igual que el rechazo editorial, esta decisión no tiene apelación.
    3. El manuscrito es aceptado con cambios requeridos. Esto quiere decir que se acepta, pero requiere una serie de cambios que pueden ser menores (correcciones de diversos aspectos) o importantes (puede implicar rehacer una buena parte del trabajo). La aceptación final estará condicionada a la respuesta de los autores, que pueden aceptar todos los cambios propuestos e incorporarlos sin más, o pueden aceptar una parte y argumentar contra alguno de los mismos si no los consideran oportunos.

Ahora corresponde hacer algunas aclaraciones que nos ayudarán a interpretar el proceso:

  • Opción 3a. Aceptación sin cambios requeridos, es altamente improbable.  Solamente una fracción marginal de los trabajos enviados a una revista de prestigio consigue esa consideración.
  • Opción 3b. Artículo rechazado, es relativamente probable, aunque no es mayoritaria. De hecho, la mayor parte de los rechazos (en la mayor parte de las revistas) procede de la fase editorial. 
  • Opción 3c. Aceptado con cambios requeridos, ya sean de mayor o de menor calado. Es la opción más frecuente. De los manuscritos que entran en esta fase, sin embargo, una fracción, acaba siendo rechazada al final de la siguiente ronda si los cambios requeridos eran importante, y los cambios aportados por los autores no satisfacen a los evaluadores.

Pero hemos dicho que hay dos evaluadores al menos. Si los dos evaluadores coinciden en rechazar la publicación, el proceso se detiene aquí, ya que este rechazo no tiene apelación. Si hay empate,  es decir, el evaluador A acepta la publicación (aunque sea con cambios requeridos) y el evaluador B la rechaza, a veces los propios editores desempatan o, más frecuentemente, incorporan un tercer evaluador para este desempate.

En algunas editoriales pueden incorporar en algunos casos evaluadores especializados en aspectos muy especializados (p.,e, de tipo estadístico en investigaciones cuantitativas) o lingüísticos (revistas internacionales que reciben manuscritos en inglés de autores de todo el mundo de habla no inglesa).

Variaciones en el peer review

Hemos visto la forma más general del peer-review, pero no hemos considerado las principales variantes del mismo que suceden en función de varios ejes:

  • El tipo de ceguera, o quien conoce a quién
  • El número de evaluadores de partida
  • El número de rondas
  • El momento de la evaluación: antes o después de publicar el manuscrito

Vamos a examinarlas, y comenzaremos por el tipo de ceguera, de acuerdo con el cual hay tres tipos de peer-review:

  • Simple ciego. Los evaluadores conocen la identidad de los autores, pero los autores no conocen la identidad de los evaluadores. Es la más habitual en Ciencias.
  • Doble ciego. Se llama así porque los evaluadores ignoran la identidad de los autores, y los autores ignoran la identidad de los evaluadores. Es la más habitual en Humanidades y Ciencias sociales. En esta clase de evaluaciones, es necesario anonimizar el manuscrito antes de enviarlo. Las indicaciones de anonimización, según la revista, pueden exigir eliminar u ofuscar la citación de los apoyos para el trabajo (financiación), las autocitas en el cuerpo y en la bibliografía, datos identificatorios en tablas y figuras y cualquier mención al lugar de trabajo de los autores.
  • Abierta. La identidad de autores y evaluadores es conocida por todos los participantes en el proceso.

Es importante señalar que cada vez más, algunas revistas publicadas por editoriales de máximo nivel aceptan los tres tipos de evaluación, ya que desde hace tiempo se considera que aquello que define a una revista evaluada, es decir científica, es el hecho de utilizar la revisión por pares, no el tipo concreto que adopta tal evaluación.

Por el número de evaluadores: la opción más común en Ciencias Sociales y Humanidades es la de dos evaluadores, con el recurso a un tercero en caso de empate, pero algunas publicaciones pueden partir de tres evaluadores. 

Por el número de rondas:

  • En la mayor parte de revistas puede llegar a haber hasta tres rondas: primera versión, segunda versión con cambios y aún una tercera versión si los evaluadores añaden nuevos requerimientos
  • En algunas revistas, combinando sistemas de evaluación abiertos y tres evaluadores de partida, hay siempre un máximo de dos rondas.

Por el momento de la evaluación:

  • En la mayor parte de las revistas, primero se evalúa el manuscrito y después, si es el caso, se publica.
  • En algunas revistas de evaluación abierta, primero se publica el manuscrito y, en paralelo, se da paso al proceso de evaluación. Después, se publicará la segunda versión evaluada y ambas versiones podrán consultarse en la base de datos de la revista, junto con los comentarios de los evaluadores.
Muchos académicos de Humanidades y Ciencias Sociales creen que peer review es sinónimo de doble ciego. En realidad, como explica este recuadro tomado de Elsevier, existen al menos tres modalidades y todas forman parte del sistema peer review. Fuente: Elsevir

Conclusiones

Los historiadores de la ciencia suelen considerar al sistema de publicación mediante peer-review como una parte importante del progreso que ha experimentado la ciencia al menos desde el siglo XIX. Muchos científicos, sobre todo en el área de las ciencias experimentales lo consideran un componente imprescindible de la actividad científica. Dicho de otro modo, sin este sistema, muchos científicos consideran que el avance de la ciencia se vería en peligro porque no sería fácil discriminar los artículos de calidad de aquellos que son meras repeticiones de cosas ya descubiertas, o incluso diferenciar entre los mejores trabajos y aquellos que contuvieran graves errores o malas prácticas.

Sin embargo, el peer review no está exento de fallos ni problemas. Ya hemos mencionado, por ejemplo, que a veces las decisiones editoriales de rechazo (o de aceptación) son erróneas. El proceso de evaluación tampoco es infalible y casi cada año salta algún escándalo en forma de artículos ya publicados que deben ser retirados porque se ha descubierto a posteriori malas prácticas en el mismo, desde datos falsificados hasta plagios o conflictos de intereses enmascarados.

Sea como sea, hay poco debate en el mundo académico sobre la necesidad de que la publicación de artículos sea una actividad evaluada, y los futuros académicos o jóvenes investigadores deben conocer lo mejor posible su funcionamiento.

Además, deben conocer lo mejor posible los usos y estilos editoriales de su disciplina en general y todavía más, deben conocer lo mejor posible las características editoriales de las revistas principales de su especialidad.

Bibliografía

Monografías y artículos

  • Hames, Irene (2007).  Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
  • Marc Ware ConsultingPublishing Research Consortium Peer review survey 2015.
    Acceso: http://publishingresearchconsortium.com > peer-review-survey-2015/
  • Nicholas, D., Watkinson, A., Jamali, H.R., Herman, E., Tenopir, C., Volentine, R., Allard, S., Levine, K. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.
  • Nicholas, D., Watkinson, A., Volentine, R., Allard, S., Levine, K., Tenopir, C., & Herman, E. (2014). “Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study”. Learned Publishing, 27, 121–134. doi:10.1087/20140206
  • Vesnic-Alujevic, L. (2014). “Peer review and scientific publishing in times of web 2.0. Publishing” Research Quarterly. doi:10.1007/s12109-014-9345-8

Informes

Los seis reports e informes que siguen a continuación están disponibles en abierto y son también de gran interés sobre el tema que hemos presentado en esta entrada. Muy recomendables para estudiosos que quieran tener una visión global de cómo está la situación de la evaluación de la ciencia.

Apéndices del libro de Irene Hames  disponibles para su descarga (los apéndices, no el libro) en la página de la editorial:

Otras páginas relacionadas con el mismo tema