Peer-Review, Revistas Científicas y Ciencia Evaluada: Una Introducción para Jóvenes Investigadores

mucs

Un Máster Universitario suele ser el primer contacto con la ciencia evaluada de un joven investigador. En la imagen, parte del sitio web del Máster Universitario en Comunicación Social de la UPF

 

Actualización Septiembre 2016: Cambios de edición, más contenidos y añadidas fuentes en los anexos.

Para entender el denominado sistema peer-review, por el que se rigen las normas de publicación en las revistas científicas de casi todo el mundo, es importante considerar que este método, se encuadra dentro de otro más general, al que que podemos llamar ciencia evaluada.

¿Qué es la ciencia evaluada?  Por esta denominación nos referimos a una de las características más definitorias de la ciencia moderna. Se puede enunciar como el principio general según el cual los conocimientos científicos no se aceptan como tales si no han superado determinados procesos independientes de evaluación.

Recordemos algo que seguramente forma parte de la experiencia de cualquier joven investigador. En la mayor parte de las universidades, los Trabajos de Final de Máster, se evalúan mediante un tribunal compuesto por varios profesores. Pues bien, aún sin conocerlo bajo este nombre, nuestro joven investigador tuvo en esa experiencia su primer contacto con la ciencia evaluada.

El contexto de la ciencia evaluada

El punto importante es que, a partir de aquí, toda la ciencia que produce un académico en su vida posterior seguirá siendo evaluada. Sus siguiente siguientes actividades académicas se caracterizarán siempre por alguna forma de evaluación, tal como recoge la siguiente tabla.

Tabla 1: Actividad y Modalidades de Evaluación

IDActividadResultado/ProductoTipo de evaluación
1Obtención de un título de MásterTrabajo Final de MásterTribunal de profesores
2Obtención de un título de DoctorTesis Doctoral[Evaluación externa] + tribunal de profesores
3Investigaciones pre o post doctoralesArtículos enviados a revistas académicas para su aprovaciónEvaluación por expertos, también llamada peer-review por su denominación en inglés
4Solicitud de financiación para desarrollar líneas de investigaciónProyecto de investigación enviado a agencias u organismos de financiación de la investigación para su aprovación
5Desarrollo de investigacionesMemorias anualesRevisión por expertos
6Carrera investigadoraSolicitud de reconocimiento de actividad investigadoraTribunal de expertos

Nota: hemos reflejado en esta tabla el sistema evaluador español, similar al modelo internacional dominante, pero aun así puede haber diferencias con otros países, salvo en la Actividad 3, que es prácticamente universal. 

En la Tabla 1 hemos destacado la fila 3. El motivo es que, a partir de ahora en esta entrada nos centraremos en presentar:

  • Cuál es el criterio que permite determinar si una revista es científica (o no)
  • Cómo es el ciclo característico de producción de la ciencia evaluada tomando como referente la elaboración de artículos científicos
  • En qué consiste el proceso denominado peer-review

¿Qué es y qué no es una revista científica?

En el ecosistema de la publicación científica, los artículos de revistas científicas (papers) tienen un papel muy destacado. Tradicionalmente, se ha considerado que, mientras los libros o monografías cumplen una misión de divulgación, los artículos de revistas cumplen la de dar a conocer los nuevos desarrollos científicos, y por tanto la de hacer avanzar la ciencia.

El esquema anterior, aunque puede variar para algunas ciencias sociales y especialmente en las humanidades, donde la monografía o el libro es también muy valorado, es la visión dominante en las ciencias experimentales y en general en aquellas disciplinas que se consideran más avanzadas o más maduras.

Otro de los grandes consensos internacionales es que una revista no es científica por los temas que aborda, sino por la forma en que lleva a cabo su proceso de selección, análisis y publicación editorial. Por decirlo de otro modo, en los quioscos (físicos o virtuales) podemos encontrar un número de revistas dedicadas a temas de actualidad científica, como Scientific American, Muy Interesante, y otras.

Se puede decir que son publicaciones de ciencia, que tratan sobre ciencia o que informan sobre temas científicos, pero, sin embargo, en sentido estricto, no se consideran revistas científicas. El motivo que les impide ser consideradas revistas científicas es que no utilizan el sistema peer-review.

En el siguiente apartado, consideraremos en qué consiste. Por el momento, hemos de señalar que, de acuerdo con lo dicho, para una buena parte de las disciplinas científicas incluyendo también las Ciencias Humanas y Sociales, la ciencia se comunica y desarrolla principalmente a través de artículos de revistas.

Por consiguiente, los investigadores, incluyendo los autores de tesis doctorales y de trabajos de final de máster, deben utilizar de forma predominante artículos publicados en revistas científicas para conocer el estado de la cuestión de sus respectivas disciplinas, sin perjuicio de usar otro tipo de fuentes, como libros o actas de congresos.

Dicho de otro modo, en el consenso dominante sobre la investigación científica se admite que los investigadores utilicen todo tipo de fuentes de información, pero NO pueden NO utilizar artículos de revistas científicas.

 

Imagen 3

La revista EPI se considera una publicación científica porque utiliza el sistema peer-review, como tantas otras que forman el ecosistema internacional de las publicaciones académicas evaluadas

Funcionamiento del sistema peer-review

Recordemos que hemos dicho que, sin el rol que juegan las revistas científicas en la comunicación, discusión y difusión de los nuevos conocimientos, se considera inviable hacer ciencia. Hemos dicho también que solamente se consideran científicas aquellas revistas que utilizan un sistema conocido como peer-review. Es hora, pues, de hablar de él, dado el papel central que estamos viendo que posee. 

En el llamado sistema de peer-review o de evaluación por pares intervienen tres actores:

  • Los autores del artículo
  • Los editores de la revista
  • Los evaluadores del artículo

Y al menos dos fases:

  • La evaluación editorial, donde el artículo es aceptado o rechazado por los editores de la revista
  • La evaluación por pares en sí misma, en el caso de los artículos que han superado la evaluación editorial.

Evaluación editorial

Todo el proceso comienza cuando un autor (o un grupo de autores en el caso de autoría múltiple) decide enviar un artículo a una revista académica. Este acto, puede ser por iniciativa propia, no especialmente motivada (salvo por  la necesidad de publicar) o porque tal revista ha llevado a cabo una llamada para quienes deseen publicar trabajos en su próximo número (call for papers). A este artículo que aún no ha sido publicado le llamaremos, a partir de ahora, manuscrito a efectos de presentar mejor todo el proceso, que sigue con las siguientes fases:

  • Un editor (o grupo de editores) examina el manuscrito y adopta una decisión en relación a si es aceptado (para su posterior evaluación) o, por el contrario, es rechazado.
  • Si el manuscrito es rechazado, esta decisión no admite (en términos generales) ninguna clase de revisión posterior.
  • Si el manuscrito es aceptado, entonces pasa a la segunda fase, la de evaluación por pares que es el que otorga su nombre al peer-review.

Algunas aclaraciones adicionales ayudarán a entender un poco mejor los puntos precedentes. En primer lugar, la decisión de aceptar o no un trabajo se basa en (al menos) dos grupos de criterios:

  • La calidad general del trabajo
  • La adecuación del tema a la línea editorial de la revista

Sobre la calidad del trabajo, los criterios son los que puede esperarse del mundo académico: los editores esperan, sobre todo, trabajos originales, con temas o enfoques interesantes, bien escritos, con una buena presentación formal, etc. La razón es obvia: la obligación de los editores es seleccionar lo mejor (no lo peor).

Línea editorial

Sobre la adecuación a la línea editorial la cuestión varía de una publicación a otra. En general, obviamente, los editores rechazarán los trabajos que no se ajusten al tema de la revista. Parece extraño que esto suceda (que reciban artículos de temas ajenos a la revista) pero sistemáticamente, un cierto número de manuscritos que llega a las revistas no tienen nada que ver con el tema de las mismas.

Sucede que, a veces, los autores tienen una percepción del alcance de sus temas que no es realista. Otras, simplemente, responde a una simple prueba. Algunos autores deciden probar suerte sin meditar mucho a dónde envían un artículo. Otras veces, los editores pueden equivocarse y decidir, por una mala inspección del trabajo, que no corresponde con su línea editorial (tengo experiencias propias en este sentido). ¡Nadie ha dicho que el sistema peer-review sea perfecto!

Pero además del alcance temático, las políticas editoriales pueden contemplar otros requerimientos, Veamos algunos de los criterios más comunes para aceptar un artículo (o rechazarlo) en fase editorial:

  • Tipo de investigación. Hay revistas que preferirán trabajos de alcance muy general y que involucren a más de una disciplina o, todo lo contrario, otras preferirán trabajos exclusivamente centrado en una sola área o incluso trabajos dentro de una micro especialidad.
  • Metodología predominante, por ejemplo, trabajos cualitativos o, por el contrario, cuantitativos, o exclusivamente resultados basados en datos empíricos obtenidos mediante muestreo estadístico válido, etc.
  • Géneros. Algunas revistas dan a conocer listas de géneros científicos preferentes o, por el contrario, no preferentes: por ejemplo, pueden declarar que prefieren revisiones generales o estados de la cuestión; o, por el contrario, solo aceptar diseños experimentales y de ningún modo trabajos de revisión o modelos conceptuales, etc.
  • Temas preferentes o expresamente rechazados. En ocasiones, las revistas pueden declarar preferentes trabajos que se ocupen de una determinada tendencia o enfoque, tal vez porque se considera que ha sido muy poco tratado en números anteriores o, por el contrario, pueden declarar enfoques o temas que no serán aceptados, precisamente por haber sido excesivamente tratada en número anteriores.

Lo que nos dice todo esto es que no es razonable enviar un manuscrito a una determinada publicación sin revisar al menos tres apartados: a) sus políticas editoriales generales, b) las preferencias para los próximos números y c) las páginas destinadas a informar a los autores de las normas y detalles de algún tipo (p.e. formato de citación o tipografía) que su artículo debe cumplir para poder enviarlo con perspectivas de éxito razonable.

Evaluación por pares

Si un manuscrito ha superado la evaluación editorial, pasa a la fase de la evaluación por pares o sistema peer-review propiamente dicho. Las fases de esta evaluación, en su modelo mayoritario, al menos en ciencias sociales y humanidades, son las siguientes:

  1. Los editores seleccionan y proponen la evaluación del artículo al menos a dos expertos en el tema del manuscrito.
  2. Una vez los evaluadores aceptan, disponen de un tiempo prudencial para hacer llegar a los editores su dictamen razonado sobre el manuscrito.
  3. El dictamen puede contemplar tres opciones:
    • El manuscrito es aceptado sin cambios requeridos. Esto significa que se acepta para que se publicado tal como ha llegado originalmente.
    • El manuscrito es rechazado sin posibilidad de apelación por insuficiencias en su desarrollo, alcance, interés, etc., o incluso por errores conceptuales, o de diseño, o por detección de malas práctica (plagio, p.e.) o por conflicto de intereses, o por considerarse de mala calidad en general. Al igual que el rechazo editorial, esta decisión no tiene apelación.
    • El manuscrito es aceptado con cambios requeridos. Esto quiere decir que se acepta, pero requiere una serie de cambios que pueden ser menores (correcciones de diversos aspectos) o muy importantes (puede implicar rehacer una buena parte del trabajo). La aceptación final estará condicionada a la respuesta de los autores, que pueden aceptar todos los cambios propuestos e incorporarlos sin más, o pueden argumentar contra alguno de los mismos si no los consideran oportunos.
  4. Pero hemos dicho que hay dos evaluadores al menos. Si los dos evaluadores coinciden en su dictamen, el proceso de evaluación o bien se detiene aquí, en caso que los dos evaluadores coinciden en rechazar la publicación, o bien pasará a la segunda ronda de evaluaciones una vez los autores del manuscrito hayan incorporado (o contestado) las propuestas de modificación.
  5. En el caso de dos evaluadores, si hay empate, es decir, el evaluador A acepta la publicación (aunque sea con cambios requeridos) y el evaluador B la rechaza, a veces los propios editores desempatan o, más frecuentemente, incorporan un tercer evaluador para este desempate.
  6. Después de, al menos, dos rondas de evaluación el manuscrito es finalmente aceptado o rechazado a la vista de la capacidad de los autores para incorporar los cambios o para responder sobre ellos.

Como hicimos anteriormente, ahora corresponde hacer algunas aclaraciones que nos ayudarán a interpretar el proceso:

  • La opción 3.1. Aceptación sin cambios requeridos, es altamente improbable.  Solamente una fracción marginal de los trabajos enviados a una revista de prestigio consigue esa consideración.
  • La opción 3.2. Artículo rechazado, es relativamente probable, pero no es mayoritaria, la razón es que si un manuscrito ha superado la evaluación editorial (responsable de la mayor parte de los rechazos, con mucha diferencia) es poco probable que sea rechazado sin más por ambos evaluadores.
  • La opción 3.3. Aceptado con cambios requeridos, de mayor o de menor calado, es la opción más probable. De los manuscritos que entran en esta fase, sin embargo, una fracción, acaba siendo rechazada al final de la siguiente ronda si los cambios eran de mayor calado, y los cambios no satisfacen a los evaluadores.

Variaciones en el peer-review

Hemos visto la forma más general del peer-review, pero no hemos considerado algunas variantes del mismo que se suelen dar en función de varios ejes:

  • El grado de ceguera, o quien conoce a quién
  • El número de evaluadores de partida
  • El número de rondas
  • El momento de la evaluación: antes o después de publicar el manuscrito

Vamos a examinarlas, y comenzaremos por el tipo de ceguera, de acuerdo con el cual hay tres tipos de peer-review:

  • Doble ciego. Se llama así porque los evaluadores ignoran la identidad de los autores, y los autores ignoran la identidad de los evaluadores.
  • Simple ciego. Los evaluadores conocen la identidad de los autores, pero los autores no conocen la identidad de los evaluadores.
  • Abierta. La identidad de autores y evaluadores es conocida por todos los participantes en el proceso.

Por el número de evaluadores: la opción más común en Ciencias Sociales y Humanidades es la de dos evaluadores, con el recurso a un tercero en caso de empate, pero algunas publicaciones pueden partir de tres evaluadores. 

Por el número de rondas:

  • En la mayor parte de revistas puede llegar a haber hasta tres rondas: primera versión, segunda versión con cambios y aún una tercera versión si los evaluadores añaden nuevos requerimientos
  • En algunas revistas, combinando sistemas de evaluación abiertos y tres evaluadores de partida, hay siempre un máximo de dos rondas.

Por el momento de la evaluación:

  • En la mayor parte de las revistas, primero se evalúa el manuscrito y después, si es el caso, se publica.
  • En algunas revistas de evaluación abierta, primero se publica el manuscrito y, en paralelo, se da paso al proceso de evaluación. Después, se publicará la segunda versión evaluada y ambas versiones podrán consultarse en la base de datos de la revista, junto con los comentarios de los evaluadores.

Conclusiones

Los historiadores de la ciencia suelen considerar al sistema de publicación mediante peer-review como una parte importante del progreso que ha experimentado la ciencia al menos desde el siglo XIX. Muchos científicos, sobre todo en el área de las ciencias experimentales lo consideran un componente imprescindible de la actividad científica. Dicho de otro modo, sin este sistema, muchos científicos consideran que el avance de la ciencia se vería en peligro porque no sería fácil discriminar los artículos de calidad de aquellos que son meras repeticiones de cosas ya descubiertas, o incluso diferenciar entre los mejores trabajos y aquellos que contuvieran graves errores o malas prácticas.

Sin embargo, el peer-review no está exento de fallos ni problemas. Ya hemos mencionado, por ejemplo, que a veces las decisiones editoriales de rechazo (o de aceptación) son erróneas. El proceso de evaluación tampoco es infalible y casi cada año salta algún escándalo en forma de artículos ya publicados que deben ser retirados porque se ha descubierto a posteriori malas prácticas en el mismo, desde datos falsificados hasta plagios o conflictos de intereses enmascarados.

Sea como sea, hay poco debate en el mundo académico sobre la necesidad de que la publicación de artículos sea una actividad evaluada, y los futuros académicos o jóvenes investigadores deben conocer lo mejor posible su funcionamiento.

Además, deben conocer lo mejor posible los usos y estilos editor5iales de su disciplina en general y todavía más, deben conocer lo mejor posible las características editoriales de las revistas principales de su especialidad.

Bibliografía

  • Hames, Irene (2007).  Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
  • Nicholas, D., Watkinson, A., Jamali, H.R., Herman, E., Tenopir, C., Volentine, R., Allard, S., Levine, K. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.
  • Nicholas, D., Watkinson, A., Volentine, R., Allard, S., Levine, K., Tenopir, C., & Herman, E. (2014). “Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study”. Learned Publishing, 27, 121–134. doi:10.1087/20140206
  • Vesnic-Alujevic, L. (2014). “Peer review and scientific publishing in times of web 2.0. Publishing” Research Quarterly. doi:10.1007/s12109-014-9345-8

Anexos

I) Apéndices del libro de irene Hames (ver referencia más abajo) disponibles para su descarga en la página de la editorial:

II) Otras página de este sitio