Peer review, revistas científicas y ciencia evaluada: introducción para jóvenes investigadores

Edición Abril 2019

Para entender el denominado sistema peer review, por el que se rigen las normas de publicación en las revistas científicas de casi todo el mundo, es importante considerar que este método se encuadra dentro de otro más general, al que podemos llamar ciencia evaluada.

¿Qué es la ciencia evaluada?  Por esta denominación nos referimos a una de las características más definitorias de la ciencia «moderna». Se puede enunciar como el principio general según el cual los conocimientos científicos no se aceptan como tales si no han superado determinados procesos independientes de evaluación.

Recordemos algo que seguramente forma parte de la experiencia de cualquier joven investigador. En la mayor parte de las universidades, los Trabajos de Final de Máster, se evalúan mediante un tribunal compuesto por varios profesores. Pues bien, aún sin conocerlo bajo este nombre, nuestro joven investigador tuvo en esa experiencia su primer contacto con la ciencia evaluada.

El contexto de la ciencia evaluada

El punto importante es que, a partir de aquí, toda la ciencia que produce un académico en su vida posterior seguirá siendo evaluada. Sus siguientes actividades académicas se caracterizarán siempre por alguna forma de evaluación, tal como recoge la siguiente tabla.

Tabla 1: Actividad y Modalidades de Evaluación

Nota: hemos reflejado en esta tabla el sistema evaluador español, similar al modelo internacional dominante, pero aun así puede haber diferencias con otros países, salvo en la Actividad 3, que es prácticamente universal. 

En la Tabla 1 hemos destacado la fila 3. El motivo es que, a partir de ahora en esta entrada nos centraremos en presentar:

• Cuál es el criterio que permite determinar si una revista es científica (o no)
• Cómo es el ciclo característico de producción de la ciencia evaluada tomando como referente la elaboración de artículos científicos
• En qué consiste el proceso denominado peer review

¿Qué es y qué no es una revista científica?

En el ecosistema de la comunicación académica, los artículos de revistas científicas (papers) tienen un papel muy destacado. Tradicionalmente, se ha considerado que, mientras los libros o monografías cumplen una misión de divulgación, los artículos de revistas cumplen la de dar a conocer los nuevos desarrollos científicos, y por tanto la de hacer avanzar la ciencia.

El esquema anterior, aunque puede variar para algunas ciencias sociales y especialmente en las humanidades, donde la monografía o el libro es también muy valorado, es la visión dominante en la mayor parte de las disciplinas científicas.

Hagamos un excurso para señalar que, poco a poco, otros vectores de la comunicación académica, como el libro, ya mencionado, obtiene reconocimiento, ya que la visión expresada antes no siempre se cumple en humanidades o en ciencias sociales. Ciertamente, en estas áreas, los libros pueden marcar verdaderos momentos de antes y después, al menos en algunas especialidades. No obstante, los artículos científicos siguen teniendo un rol privilegiado en la evaluación de carreras académicas en casi todas las disciplinas.

Otro de los grandes consensos internacionales es que una revista no es científica por los temas que aborda, sino por la forma en que lleva a cabo los procesos de selección y publicación. Por decirlo de otro modo, en los quioscos (físicos o virtuales) podemos encontrar un número de revistas dedicadas a temas de actualidad científica, como Scientific American, Muy Interesante, y otras.

Se puede decir que son publicaciones de ciencia, que tratan sobre ciencia o que informan sobre temas científicos, pero, sin embargo, en sentido estricto, no son revistas científicas. El motivo que les impide ser consideradas revistas científicas es que no utilizan el sistema denominado peer review.

En el siguiente apartado, consideraremos en qué consiste. Por el momento, hemos de señalar que, de acuerdo con lo dicho, para una buena parte de las disciplinas científicas incluyendo también las Ciencias Humanas y Sociales, la ciencia se comunica y desarrolla principalmente a través de artículos de revistas.

Por consiguiente, el otro lado de la moneda nos dice que los investigadores, incluyendo los autores de tesis doctorales y de trabajos de final de máster, deben utilizar de forma predominante artículos publicados en revistas científicas para conocer el estado de la cuestión de sus respectivas disciplinas, sin perjuicio de usar otro tipo de fuentes, como libros o actas de congresos.

Dicho de otro modo, en el consenso dominante sobre la investigación científica se admite que los investigadores utilicen todo tipo de fuentes de información, pero NO pueden NO utilizar artículos de revistas científicas.

• Para saber más sobre revistas académicas: Componentes de un artículo científico

Funcionamiento del sistema peer review

Recordemos que hemos dicho que, sin el rol que juegan las revistas científicas en la comunicación, discusión y difusión de los nuevos conocimientos, se considera inviable hacer ciencia. Hemos dicho también que solamente se consideran científicas aquellas revistas que utilizan un sistema conocido como peer review. Es hora, pues, de hablar de él, dado el papel central que estamos viendo que posee. 

En el llamado sistema de peer-review o de evaluación por pares intervienen tres actores:

• Los autores del artículo
• Los editores de la revista
• Los evaluadores del artículo

Y al menos dos fases:

• La evaluación editorial, donde el artículo es aceptado o rechazado por los editores de la revista
• La evaluación por pares en sí misma, en el caso de los artículos que han superado la evaluación editorial.

Evaluación editorial

Todo el proceso comienza cuando un autor (el llamado autor de correspondencia, en el caso de autoría múltiple) decide enviar un artículo a una revista académica. Este acto puede corresponder a iniciativa propia o porque tal revista ha llevado a cabo una llamada para quienes deseen publicar trabajos en su próximo número (call for papers). A este artículo que aún no ha sido publicado le llamaremos, a partir de ahora, manuscrito a efectos de presentar mejor todo el proceso, que sigue con las siguientes fases:

• Un editor (o grupo de editores) de la revista examina el manuscrito y adopta una decisión en relación con si es aceptado (para su posterior evaluación) o, por el contrario, es rechazado sin que pase a la siguiente fase.
• Si el manuscrito es rechazado, esta decisión no admite (en términos generales) ninguna clase de revisión posterior.
• Si el manuscrito es aceptado, entonces pasa a la segunda fase, la de evaluación por pares que es el que otorga su nombre al peer-review.

Algunas aclaraciones adicionales ayudarán a entender un poco mejor los puntos precedentes. En primer lugar, la decisión de aceptar o no un trabajo se basa en (al menos) dos grupos de criterios:

• La calidad general del trabajo
• La adecuación a la línea editorial de la revista, así como a sus normativas sobre los manuscritos

Sobre la calidad del trabajo, los criterios son los que puede esperarse del mundo académico: los editores esperan, sobre todo, trabajos originales, llevados a cabo con garantías metodológicas, con aportes reales de tipo social o académico, con objetos de estudio significativos, muy bien redactados y con una muy buena presentación formal.

Línea editorial

Sobre la adecuación a la línea editorial la cuestión varía de una publicación a otra. En general, obviamente, los editores rechazarán los trabajos que no se ajusten al ámbito temático de la revista. Parece extraño que esto suceda pero sistemáticamente, un cierto número de manuscritos que llega a las revistas no tienen relación con el ámbito temático de las mismas.

Pero además del ámbito temático, que es el primer elementos a considerar, las políticas editoriales suelen contemplar otros requerimientos, Veamos algunos de los criterios más comunes para aceptar un artículo (o rechazarlo) en fase editorial:

• Tipo de investigación. Casi todas las revistas admiten trabajos llevados a cabo tanto con metodologías cuantitativas como cualitativas, pero puede haber algunas que prefieran uno u otro método. Hay revistas que preferirán trabajos de alcance muy general, o de tipo multidisciplinar y rechazarán trabajos que describen, por ejemplo, experimentos muy concretos, o conteos de datos muy específicos. Otras revistas prefieren trabajos muy centrados en alguna especialidad. Algunas revistas pueden esperar de modo exclusivo trabajos con diseño experimental, mientras que la mayoría suele aceptar cualquier diseño de investigación, pero aún así pueden tener preferencia por una tipo de investigación u otro, e incluso pueden declarar tipos de investigación no preferidos.
• Secciones. Algunas revistas solamente tienen una sección de artículos de investigación. Pero otras pueden tener diferentes secciones, lo que indica que pueden aceptar diferentes géneros de artículos, tales como aportaciones conceptuales o metodológicas; o distintos géneros como tribunas, cartas, informes, experiencias, etc. En caso de diferentes secciones, el manuscrito debe ajustarse a los requerimientos por la que opta el autor.
• Estructura del manuscrito. La mayor parte de las revistas esperan manuscritos estructurados según el modelo denominado IMRyD, por las siglas Introducción, Métodos, Resultados y Discusión. Pero pueden tener otros requerimientos que los autores deben tener muy en cuenta. Algunas facilitan plantillas, en cuyo caso es obligatorio adaptar el manuscrito a las mismas.
• Formatos. Además, de una determinada estructura, las revistas pueden exigir determinados aspectos de formato, que incluyen desde la anonimización correcta del manuscritos, hasta indicaciones sobre los gráficos y diagramas, pasando por el formato de la bibliografía, etc.
• Temas preferentes o expresamente rechazados. En ocasiones, las revistas pueden declarar preferentes trabajos que se ocupen de una determinada tendencia o enfoque, tal vez porque se considera que ha sido muy poco tratado en números anteriores o, por el contrario, pueden declarar enfoques o temas que no serán aceptados, precisamente por haber sido excesivamente tratada en número anteriores.

Lo que nos dice todo esto es que antes de enviar un manuscrito a una determinada publicación es necesario revisar al menos estas tres dimensiones de la misma:

• Ámbito temático y políticas editoriales de la revistas
• Preferencias y temas anunciados para los próximos números.
• Normas e información para autores referidos a estructura, formato, anonimización, etc. que debe tener el manuscrito para ser aceptado.

Además, está en el interés de los autores revisar estos otros aspectos:

• Periodicidad: para tener una estimación del tiempo que puede tardar en aparecer el artículo.
• Indexación: es importante que la revista esté indexada en las principales bases de datos y en los repertorios de revistas que aceptan las agencias de evaluación.
• Tipo de publicación: en general, es conveniente para los autores elegir revistas open access o que permitan el autoarchivo.
• Tipo de revisión por pares: aunque no debería ser un motivo de elección o rechazo, es interesante saber qué tipo de evaluación por pares aplica la revista, o si permite que los autores sugieran evaluadores, etc.

Evaluación por pares

Si un manuscrito ha superado la evaluación editorial, pasa a la fase de la evaluación por pares o sistema peer-review. Las fases de esta evaluación, en su modelo mayoritario, al menos en ciencias sociales y humanidades, son las siguientes:

1. Los editores seleccionan y proponen la evaluación del artículo al menos a dos expertos en el tema del manuscrito. De aquí proviene el nombre de este sistema, ya que se supone que el manuscrito se envía a investigadores con competencias similares a los autores.
2. Una vez los evaluadores aceptan, disponen de un tiempo prudencial para hacer llegar a los editores su dictamen razonado sobre el manuscrito.
3. El dictamen puede contemplar tres opciones:
   1. El manuscrito es aceptado sin cambios requeridos. Esto significa que se acepta para que sea publicado tal como ha llegado originalmente.
   2. El manuscrito es rechazado sin posibilidad de apelación por insuficiencias en su desarrollo, alcance, interés, etc., o incluso por errores conceptuales, o de diseño, o por detección de malas práctica (plagio, p.e.) o por conflicto de intereses, o por considerarse de mala calidad en general. Al igual que el rechazo editorial, esta decisión no tiene apelación.
   3. El manuscrito es aceptado con cambios requeridos. Esto quiere decir que se acepta, pero requiere una serie de cambios que pueden ser menores (correcciones de diversos aspectos) o importantes (puede implicar rehacer una buena parte del trabajo). La aceptación final estará condicionada a la respuesta de los autores, que pueden optar por aceptar todos los cambios propuestos e incorporarlos sin más, o pueden aceptar una parte y argumentar contra alguno de los otros si no los consideran oportunos.

Ahora corresponde hacer algunas aclaraciones que nos ayudarán a interpretar el proceso:

• Opción 3a. Aceptación sin cambios requeridos, es altamente improbable.  Solamente una fracción marginal de los trabajos enviados a una revista de prestigio consigue esa consideración.
• Opción 3b. Artículo rechazado, es relativamente probable, aunque no es mayoritaria. De hecho, la mayor parte de los rechazos (en la mayor parte de las revistas) procede de la fase editorial. 
• Opción 3c. Aceptado con cambios requeridos, ya sean de mayor o de menor calado. Es la opción más frecuente. De los manuscritos que entran en esta fase, sin embargo, una fracción, acaba siendo rechazada al final de la siguiente ronda si los cambios requeridos eran importante, y los cambios aportados por los autores no satisfacen a los evaluadores.

Pero hemos dicho que hay dos evaluadores al menos. Si los dos evaluadores coinciden en rechazar la publicación, el proceso se detiene aquí, ya que este rechazo no tiene apelación. Si hay empate,  es decir, el evaluador A acepta la publicación (aunque sea con cambios requeridos) y el evaluador B la rechaza, a veces los propios editores desempatan o, más frecuentemente, incorporan un tercer evaluador para este desempate.

Variaciones en el peer review

Hemos visto la forma más general del peer-review, pero no hemos considerado las principales variantes del mismo que suceden en función de varios ejes:

• El tipo de ciego, o quien conoce a quién
• El número de evaluadores de partida
• El número de rondas
• El momento de la evaluación: antes o después de publicar el manuscrito

Vamos a examinarlas, y comenzaremos por el tipo de ciego, de acuerdo con el cual hay tres tipos de peer-review:

• Simple ciego. Los evaluadores conocen la identidad de los autores, pero los autores no conocen la identidad de los evaluadores. Es la más habitual en Ciencias.
• Doble ciego. Se llama así porque los evaluadores ignoran la identidad de los autores, y los autores ignoran la identidad de los evaluadores. Es la más habitual en Humanidades y Ciencias sociales. En esta clase de evaluaciones, es necesario anonimizar el manuscrito antes de enviarlo. Las indicaciones de anonimización, según la revista, pueden exigir eliminar u ofuscar la citación de los apoyos para el trabajo (financiación), las autocitas en el cuerpo y en la bibliografía, datos identificatorios en tablas y figuras y cualquier mención al lugar de trabajo de los autores.
• Abierta. La identidad de autores y evaluadores es conocida por todos los participantes en el proceso.

Es importante señalar que cada vez más, algunas revistas publicadas por editoriales de máximo nivel aceptan los tres tipos de evaluación, ya que desde hace tiempo se considera que aquello que define a una revista evaluada, es decir científica, es el hecho de utilizar la revisión por pares, no el tipo concreto que adopta tal evaluación.

Por el número de evaluadores: la opción más común en Ciencias Sociales y Humanidades es la de dos evaluadores, con el recurso a un tercero en caso de empate, pero algunas publicaciones pueden partir de tres evaluadores o más.

Por el número de rondas:

• En la mayor parte de revistas puede llegar a haber hasta tres rondas: primera versión, segunda versión con cambios y aún una tercera versión si los evaluadores añaden nuevos requerimientos a la vista de la segunda versión.
• En algunas revistas, combinando sistemas de evaluación abiertos y tres evaluadores de partida, se garantiza un máximo de dos rondas.

Por el momento de la evaluación:

• En la mayor parte de las revistas, primero se evalúa el manuscrito y después, si es el caso, se publica.
• En algunas revistas de evaluación abierta, primero se publica el manuscrito y, en paralelo, se da paso al proceso de evaluación. Después, se publicará la segunda versión evaluada y ambas versiones podrán consultarse en la base de datos de la revista, junto con los comentarios de los evaluadores.

Conclusiones

Los historiadores de la ciencia suelen considerar al sistema de publicación mediante peer-review como una parte importante del progreso que ha experimentado la ciencia desde el siglo XIX. Muchos científicos lo consideran un componente imprescindible de la actividad científica. Dicho de otro modo, sin este sistema, consideran que el avance de la ciencia se vería en peligro porque no sería fácil discriminar los artículos de calidad de aquellos que son meras repeticiones de cosas ya descubiertas, o incluso diferenciar entre los mejores trabajos y aquellos que contuvieran graves errores o malas prácticas.

Sin embargo, el peer review no está exento de fallos ni problemas. Casi cada año salta algún escándalo en forma de artículos ya publicados que deben ser retirados porque se ha descubierto a posteriori malas prácticas en el mismo, desde datos falsificados hasta plagios o conflictos de intereses enmascarados.

Sea como sea, hay poco debate en el mundo académico sobre la necesidad de que la publicación de artículos sea una actividad evaluada, y los futuros académicos o jóvenes investigadores deben conocer lo mejor posible su funcionamiento.

Además, deben conocer lo mejor posible los usos y estilos editoriales de su disciplina en general y todavía más, deben conocer lo mejor posible las características editoriales de las revistas principales de su especialidad.

Bibliografía

Monografías y artículos

• Hames, Irene (2007).  Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
• Marc Ware Consulting. Publishing Research Consortium Peer review survey 2015.
  Acceso: http://publishingresearchconsortium.com > peer-review-survey-2015/
• Nicholas, D., Watkinson, A., Jamali, H.R., Herman, E., Tenopir, C., Volentine, R., Allard, S., Levine, K. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.
• Nicholas, D., Watkinson, A., Volentine, R., Allard, S., Levine, K., Tenopir, C., & Herman, E. (2014). “Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study”. Learned Publishing, 27, 121–134. doi:10.1087/20140206
• Vesnic-Alujevic, L. (2014). “Peer review and scientific publishing in times of web 2.0. Publishing” Research Quarterly. doi:10.1007/s12109-014-9345-8

Informes

Los seis reports e informes que siguen a continuación están disponibles en abierto y son también de gran interés sobre el tema que hemos presentado en esta entrada. Muy recomendables para estudiosos que quieran tener una visión global de cómo está la situación de la evaluación de la ciencia.

• http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf
• http://figshare.com/articles/MSS_Author_Insights_2014/1204999
• http://www.senseaboutscience.org/data/files/Peer_Review/Peer_Review_Survey_Final_3.pdf
• http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf
• http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf
• http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf

Apéndices del libro de Irene Hames  disponibles para su descarga (los apéndices, no el libro) en la página de la editorial:

• The Golden Rules and the PeerReview Good Practice Checklist
• Examples of checklists, forms, guidance for reviewers and editorial letters
• Useful Web Sites
• Alternative Models of Peer Review

Otras páginas relacionadas con el mismo tema

• What is peer review (Elsevier)
• Publicaciones sobre cultura académica.
• Página dedicada al Open Peer Review
• Directorio dedicado en general a metodologías de investigación