Edición Mayo 2017
Introducción: qué es la evaluación por pares
Una de las características nucleares de las revistas científicas es que los artículos publicados en ellas se han sometido a un proceso conocido como peer review (literalmente, revisión por pares, en el sentido de revisión por expertos del mismo campo que los autores).
Este proceso implica que las revistas científicas solamente publican artículos que han superado una evaluación efectuada, al menos por dos expertos, tal como sucede en el campo de las Ciencias Humanas y Sociales. En revistas de Ciencias suelen intervenir tres (debido a la modalidad de peer review que practican).
Es decir, a diferencia de las revistas de tipo periodístico o de tipo cultural, donde se publica lo que un director o jefe de sección considera oportuno, en una revista académica intervienen de forma decisiva las opiniones de expertos externos al cuerpo de redacción de la misma.
A este proceso se le atribuye buena parte de la calidad de la ciencia «moderna» (usamos las comillas, porque es un sistema utilizado desde el siglo XVIII según los estudiosos del tema -ver la referencia al final-).
La cuestión es que el hecho de que solamente se puedan publicar artículos que han superado un proceso de evaluación llevado a cabo por expertos independientes, y sin que intervenga en exclusiva la opinión del cuerpo editorial de la revista se considera crucial para el progreso de las ciencias.
Simple versus doble ciego
Sin embargo, como todas las cosas interesantes de este mundo, es un proceso que no está exento de debates e incluso de amargas críticas. En una comparación sin duda exagerada, a mi me gusta hacerlo con las críticas que históricamente ha recibido la democracia como forma de gobierno.
Creo que fue Winston Churchill quien zanjó en una ocasión de forma magistral uno de estos debates afirmando que «la democracia era la peor forma de gobierno, excepto todas las demás».
Ante el enorme número de descontentos que suele generar, creo que del sistema de la ciencia basado en evaluaciones independientes se puede decir lo mismo: es la peor forma de hacer ciencia, salvo todas las demás.
Pero un debate que creo que es poco conocido en el ámbito de las ciencias sociales no se refiere a la utilidad o no del sistema peer review (aquí vamos a dar por supuesta su utilidad), sino sobre si es mejor hacerlo mediante los llamados doble o simple ciego. Las diferencias son las siguientes:
Doble ciego: los evaluadores no conocen la identidad de los autores de los artículos, y los autores no conocen la identidad de los evaluadores.
Simple ciego: los evaluadores conocen la identidad de los autores, pero los autores no conocen la identidad de los evaluadores.
En lo referido a las revistas de Ciencias Humanas y Sociales, casi todas aplican el doble ciego. En principio, esto podría estar muy bien, pero nos tememos que NO lo hacen así como consecuencia de la necesaria reflexión sobre las ventajas e inconvenientes de cada sistema, sino porque la mayoría de los editores y académicos de este ámbito considera que peer review equivale a doble ciego.
Ciertamente, el doble ciego parece ser el sistema preferido por los autores cuando se les pregunta, al menos según una encuesta (del año 2008), que mostraba un 56% a favor del doble, contra un 25% a favor del simple (se puede acceder al estudio completo en el sitio del Publishing Research Consortium).
Pero una cosa son las preferencias teóricas de los autores, y otra las preferencias de los editores y otra aún las realidades tangibles, ya que aunque ciertamente la mayoría de las revistas de ciencias sociales utiliza el doble ciego, en cambio la mayoría de las revistas de algunas ramas de la ciencia utilizan el simple ciego.
El problema de la no elección
Aquí, si nos damos cuenta, hay un problema, al menos en nuestra opinión. En primer lugar, no es lo mismo hacer una cosa porque creemos que es la única forma que hay de hacerla, que porque creemos que es la mejor después de considerar todas las existentes.
No hay ningún problema en que una revista diga: «usamos el doble ciego porque después de considerar ventajas e inconvenientes, consideramos que es la mejor opción».
En cambio, sin duda hay un cierto riesgo en hacerlo basados en información insuficiente o equivocada. A esto le podemos llamar el problema de la NO elección, que consiste, como intentamos argumentar, en hacer algo porque se está en la creencia (equivocada) de que no existe otra elección.
Ventajas e inconvenientes de cada sistema de evaluación
Si entramos en el tema de las ventajas e inconvenientes, y para expresarlo de forma muy rápida, se considera que el doble ciego garantiza mejor la objetividad, al evitar posibles sesgos en los evaluadores si conocen la identidad de los autores.
Sus críticos, sin embargo, señalan que la anonimización de los artículos añade carga de trabajo extra a todas las partes y al final resulta poco útil, porque se calcula que los evaluadores suelen «adivinar» o detectar la autoría al menos en el 50 por ciento de los casos según algunos estudios.
Concretamente (ver más abajo), la American Economic Association asegura que actualmente, gracias a las bases de datos y a Google Scholar, por un lado es prácticamente imposible anonimizar de forma eficiente los artículos.
Por otro, esta asociación señala que no conocer a los autores impide a los evaluadores detectar posibles casos de conflicto de intereses entre el perfil de los autores y los temas tratados, algo por lo que precisamente las revistas de economía han sido duramente criticadas en los últimos años.
El famoso documental sobre la crisis económica Inside Job mostraba de forma excepcionalmente eficaz los conflictos de intereses no declarados ni detectados por las revistas, de famosos economistas que publicaban aparentes informes científicos que en realidad eran acciones de propaganda encubierta para beneficiar a las empresas que les habían subvencionado.
Una línea de argumentación similar mantenía Nature en un editorial de 2008 cuando destacaba la conveniencia de conocer la identidad de los autores, a fin de que los evaluadores pudieran saber si realmente se estaba reportando un verdadero avance en los trabajos de un autor (o era un caso de «más de lo mismo»).
Y, en un guiño significativo, añadían además que conocer en lugar de adivinar («knowing rather than guessing the identities of authors…») anima a los evaluadores a tratar los conflictos de intereses a los que también nos hemos referido con motivo de los economistas.
Además de lo anterior, el simple ciego tiene la virtud de hacer que todo el proceso sea mucho más ágil. Parece poca cosa, pero es muy importante. No solamente se destinan muchas energías a volver anónimo un artículo, sino que a veces da lugar a experiencias penosas, como cuando una publicación de prestigio se ve en el trance de rechazar un buen trabajo si el autor no ha hecho bien la anonimización que, a su vez, depende de factores no siempre obvios, como eliminar los metadatos del documento o citar fuentes de financiación.
Por ejemplo, en el estudio ya referido un poco más arriba, entre las conclusiones del mismo econtramos esta afirmación (Ware, Monkman, 2008)) como parte del resumen ejecutivo:
Double-blind review faces some fundamental objections. Double-blind review was primarily supported because of its perceived objectivity and fairness.
Many respondents, including some of those supporting double-blind review, did however point out that there were great difficulties in operating it in practice because it was frequently too easy to identify authors from their references, type of work or other internal clues (Ware, Monkman 2008)
El problema es que si la revista utiliza el doble ciego, no pueden permitirse excepciones. En otros casos se señala una auténtica imposibilidad de anonimizar un trabajo si este se desarrolla en proyectos singulares; o se menciona el problema de que algunos artículos se vuelven incomprensibles una vez se han borrado las trazas de trabajos anteriores en los que se basa. Por tanto, no es ni mucho menos una cuestión simple.
Por su parte, el riesgo más señalado del simple ciego es del sesgo (a favor o en contra) de los autores; no solamente por razones de identificación personal, sino de género, procedencia, nacionalidad, etc.
Hay estudios que citan discriminación por género, por procedencia de universidades de bajo prestigio o por autores de fuera de la academia (ver el artículo de JASIST citado al final). Se entiende que estos sesgos se pueden minimizar, precisamente siendo conscientes de ellos, procurando una buena política editorial y un adecuada selección de los evaluadores (hay que elegir evaluadores de probada independencia y madurez de juicio).
En el caso de Scopus, en sus normas de calidad de revistas añaden que el simple ciego debería contar con tres evaluadores, cosa que muchas revistas ya hacen. En todo caso, ya vemos que ninguno de los dos sistemas es perfecto.
Un estudio muy reciente, promovido por el Publishing Research Consortium (Mark Ware Consulting, 2016), que replica el de 2008 (Ware, Monkan, 2008), encuentra ahora que no hay diferencias entre el doble y el simple ciego:
There is no clear-cut preference shown for single compared to double blinded review in this survey. This is different from 2007, when respondents were asked how effective they thought each type of review to be, when double blind was clearly preferred over single blind (71% vs 52% thinking it effective).
The result is also markedly different from the results found in the Taylor & Francis survey (Q18), where respondents ranked double blind significantly higher than all other styles of review, and ranked single blind review their least preferred (Mark Ware Consulting, 2016).
Se trata de elegir el grupo de ventajas e inconvenientes que parezca más adecuado en cada caso, no de elegir el sistema perfecto porque no existe.
Un caso interesante es el del informe que reseñamos al final, debido a R. T. Snodgrass, que en una revisión del 2007 señaló 6 aspectos positivos del doble ciego (el principal es la protección contra sesgos, ya que los otros son variaciones de esta), contra 21 posibles riesgos del doble ciego, entre ellos algunos como los siguientes:
- La calidad de la revisión se reduce (n. 1)
- Se incrementa la posibilidad de aceptar artículos poco novedosos (n. 4)
- Pone en peligro proyectos muy conocidos (n. 6)
- Es difícil detectar los conflictos de intereses (n. 11)
- Incrementa la posibilidad de plagio (n. 14)
- Complica la revisión (15)
Y así, hasta 21 riesgos, algunos poco probables pero otros muy reales (como la dificultad real de mantener secretas las identidades de los autores). Curiosamente, el autor acaba proponiendo un sistema de doble ciego; eso sí adoptando una serie de medidas para reducir los problemas señalados. La clave sin duda está en elegir bien a los evaluadores, claro; pero esto es así siempre, también en el doble ciego.
Sin buenos evaluadores es imposible sacar adelante una revista científica, no importa el sistema que utilice (por eso los estudiosos como Irene Hames -ver al final- dicen que los buenos evaluadores son el principal activo de una revista científica). Además, hay otro motivo un poco más sutil por el cual lo prefiero.
Por alguna razón, ciertamente nuestra mente cambia cuando conocemos al autor, pero en este caso creo que es para bien. Es verdad que puede pasar que tengamos un cierto sesgo, pero creo sinceramente que ayuda a evaluar mejor saber quién ha trabajado en ellos.
Por último, un motivo que a muchos les parecerá extraño para no preferir el doble ciego, pero del que se conocen antecedentes, es el siguiente: un evaluador ha visto alguna buena idea en un artículo que al final ha sido rechazado, ¿cómo puede hacer la atribución correspondiente? (gracias, Mark Wilson).
En todo caso, un indicador de la posible ventaja del simple ciego es que otros procesos de evaluación de la ciencia realmente cruciales (como la evaluación de los proyectos financiados competitivos) siempre toma la forma del simple ciego. Es casi seguro que en estos casos, la evaluación sería peor si los evaluadores no pudieran conocer la identidad de los investigadores.
Pero como hemos señalado antes, aún más importante que elegir el doble o el simple ciego es que la elección se haga de forma consciente y adecuada a cada caso.
El enorme escándalo del ya mencionado fenómeno Inside Job que ha plagado los artículos en revistas de Economía puede justificar la preferencia por el simple ciego. La revista de la que somos editores es un Anuario y nos centramos en artículos que presentan estados de la cuestión y resultados de investigación procedentes de proyectos competitivos.
Por ese motivo, buena parte de nuestros artículos los solicitamos directamente a los autores después de que el consejo editorial decide el tema central de cada año, así que, en nuestro caso la elección por el simple ciego se debió a nuestra política editorial (aunque invitamos a publicar a nuestros autores, podemos rechazar un artículo si no supera la evaluación). Posiblemente con otra política editorial, apostaríamos por el doble ciego.
Ocho recursos para reflexionar sobre el tema
Para acabar, una modesta curación de contenidos donde se discute sobre el simple y el doble ciego, para posibles interesados en profundizar en este tema:
Journals weigh up double-blind peer review Un artículo de la prestigosa Nature, del 2014, donde se argumenta a favor del doble ciego. Para leer entre líneas: se puede apreciar que en el background del autor (y se supone de la mayoría de sus lectores) lo «normal» es el simple ciego. Por eso argumenta a favor de su posible utilidad de una forma que a un académico de ciencias sociales le estrañaría por su obviedad.
Nature journals offer double-blind review Más de Nature. Esta vez del 2015. Un anuncio de esta editorial informando que sus revistas aplicarán el doble ciego si los autores lo solicitan. Es decir, por defecto, aplican el simple ciego (recuerden que Nature es una de las dos o tres editoriales científicas de mayor impacto del mundo). Esto es algo que sorprende a los de ciencias sociales cuando buscan el modo de evaluación en las instrucciones de los autores de las revistas de mayor impacto: muchas veces no se indica si usan el simple o el doble ciego por la razón de que dan por supuesto que es el simple (¿otro problema de no elección, pero esta vez al revés?). Curiosamente, señalan que aunque la mayoría de los autores expresan su preferencia teórica por el doble ciego, solamente lo solicita una minoría desde que Nature permite esta opción.
Makin peer review work for you Página de ayuda para autores, del servicio Help Me Publish (Universidad de Otago) con un breve pero muy eficaz resumen de ventajas e inconvenientes del simple, del doble ciego y del open peer review (en este último caso, los autores conocen a los evaluadores y viceversa), con referencias al estudio sobre las preferencias de los académicos por uno u otro sistema que hemos mencionado unos párrafos más arriba.
- Publishing Research Consortium Peer review survey 2015 Amplio estudio de las preferencias de los autores por los tres tipos básicos de peer review: doble, simple y abierto. Muestra que ahora ya no hay diferencias de aceptación entre el doble y el simple ciego (es decir, comparten porcentaje de apoyo) en la mayoría de las disciplinas, y está ganado cada vez más apoyo el open peer review en disciplinas como las Ciencias de la Computación, las Matemáticas y otras.
Single- versus double blind reviewing Interesante artículo (pdf) actualmente accesible en el repositorio de la universidad del autor, Ricard Snodgrass, originalmente publicado en una revista de la ACM (2007). Analiza los peligros de sesgo del simple ciego y depués revisa problemas y ventajas del doble ciego. Menciona 6 ventajas del doble ciego y a continuación detalla 21 posibles costes del doble ciego. Curiosamente (o no), acaba recomendando el doble ciego.
Rejecting double blind Publicado el 211 en Inside Higher Ed. Discusión del comunicado de la American Economic Association anunciado su abandono del doble ciego a favor del simple ciego, entre otras razones por no poderse garantizar el anonimato y por el peligro de ignorar conflictos de intereses. El artículo se hace eco de otras publicaciones también que han debatido sobre el tema.
The case againts double-blind peer review La entrada, también del 2011, publicada en su blog por un académico de ciencias de la Computación, Daniel Lemire, de la Universidad de Quebec (1.500 citaciones en Google Scholar) a favor del simple ciego con algún que otro argumento adicional interesante. Aquí se cita el curioso argumento de Mark Wilson que se menciona más arriba.
Por su interés intrínseco y estar disponible en abierto, recomendamos la lectura del artículo Bias in peer review, de Carole J. Lee, Cassidy R. Sugimoto, Guo Zhang y Blaise Cronin, publicado en Diciembre del 2012 por la Journal of the American Society for Information Science and Technology. Se trata de una excelente y completa revisión de un buen número de estudios sobre los sesgos en las evaluaciones. Consideran también las ventajas e inconvenientes de varias formas de evaluación.
Tenemos también el excelente tratado general sobre la gestión de revistas científicas de Irene Hames que ya he recomendado otras veces: Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice, del 2007, publicado por Blackwell y disponible también en formato de ebook.
Conclusiones
El doble ciego suele ser la primera preferencia teórica de los académicos, pero no de los editores. No es el sistema más utilizado en algunas ramas de la ciencia ni está exento de críticas: en primer lugar, en la era de Internet, el Open Access y los repositorios, se considera poco útil para ocultar las identidades de los autores y en cambio exige un gran esfuerzo, sobre todo a los autores, pero también a los editores.
En resumen: complica todo el proceso y da mucho trabajo para no garantizar nunca del todo el anonimato. El simple ciego es el sistema mayoritario en algunas ciencias (no así en ciencias sociales). En teoría presenta riesgos de sesgo por parte de los evaluadores, pero por un lado, los estudios no presentan cifras dramáticas y por otro a veces los resultados en realidad son algo contradictorios.
En todo caso, se supone que este sesgo se puede anular con una buena elección de los evaluadores y, si se adopta el criterio «Scopus» incorporando 3 evaluadores, cosa que muchas revistas ya hacen.
Par compensar, el evaluador extra, su ventaja principal es la simplicidad del proceso; además también aporta aspectos positivos como una mejor identificación de conflicto de intereses, mejor detección de auto plagios, identificación de falta de auténtico progreso en los trabajos de los autores, etc.
Algunos alegamos además que, de alguna manera es útil conocer la identidad de los autores para apreciar de forma más justa su trabajo, como también sugiere que en otras evaluaciones (proyectos científicos) se considere imprescindible.
Por supuesto, hay otras opciones además de las dos en las que nos hemos centrado: desde la de la revisión abierta (donde todos conocen a todos y se publican las observaciones de los evaluadores junto con el artículo final) hasta los sistemas como el que propone Nature.
En Nature, se propone por defecto la evaluación de tipo simple ciego, pero los autores pueden pedir el doble si así lo desean, y curiosamente, es una opción poco solicitada. Como es sabido, muchas revistas permiten a los autores vetar evaluadores o, al contrario, proponer evaluadores.
Pero seguramente, lo realmente importante es que cuando un editor adopte un sistema de evaluación lo haga de forma consciente, evitando el problema de la no elección y sobre todo explicando de forma transparente su elección en las páginas de información sobre su política editorial.
Referencias
- Etkin, A. (2014). A new method and metric to evaluate the peer review process of scholarly journals. Publishing Research Quarterly. doi:10.1007/s12109-013-9339-y
- Faulkes, Z. (2014). The vacuum shouts back: Postpublication peer review on social media. Neuron.doi:10.1016/j.neuron.2014.03.032
- Hames, Irene (2007). Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
- Mark Ware Consulting (2016). Publishing Research Consortium Peer review survey 2015. Acceso: http://publishingresearchconsortium.com/peer-review-survey-2015/
- Nicholas, D et al (2014). Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study. Learned Publishing, 27, 121–134. doi:10.1087/20140206
- Nicholas, D. et al. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.
- Onitilo, A. et al. (2014). A core-item reviewer evaluation (CoRE) system for manuscript peer review. Accountability in Research, 21, 109–21. doi:10.1080/08989621.2014.847664
- Paolucci, M., & Grimaldo, F. (2014). Mechanism change in a simulation of peer review: from junk support to elitism. Scientometrics, pp. 1–26. doi:10.1007/s11192-014-1239-1
- Park, I.-U., Peacey, M. W., & Munafò, M. R. (2014). Modelling the effects of subjective and objective decision making in scientific peer review. Nature, 506, 93–6. doi:10.1038/nature12786
- Vesnic-Alujevic, L. (2014). Peer review and scientific publishing in times of web 2.0. Publishing Research Quarterly. doi:10.1007/s12109-014-9345-8
- Ware, M.; Monkman, M. (2008). Peer Review in Scholarly Journals: An international study into the perspective of the scholarly community (accesible en: http://publishingresearchconsortium.com/)
Anexo – Tres editoriales de revistas en ciencias experimentales que aplican el sistema de revisión abierta (open peer review)
