Las dos principales formas de revisión por pares (o peer review), doble y simple ciego, obtienen la misma aceptación por parte de los investigadores (autores o revisores) en el último informe del Publishing Research Consortium, publicado en 2016 (que replica uno del año 2008). Por su parte, la revisión abierta sigue ganando cada vez más aceptación entre los investigadores.
Es un trabajo publicado en el 2016, como ya hemos señalado, pero no es tarde, ni para considerarlo ni para ayudar a su difusión. Remitimos al propio informe no solo para los detalles técnicos del estudio, sino para complementar de forma adecuada los aspectos que aquí señalaremos que serán tres muy específicos, como luego se indicará.
Marc Ware Consulting. Publishing Research Consortium Peer review survey 2015.
Acceso: http://publishingresearchconsortium.com > peer-review-survey-2015/
Resultados clave sobre revisión por pares
Como sea, aquí va una selección de las principales conclusiones del informe (seguro que hay sesgo en mi selección, así que no duden en consultar el informe original), tomadas de la sección de «Resultados Clave» (pp. 2-3). Primero ofreceremos una cita literal, y después unas observaciones o comentarios propios.
Por nuestros propios intereses de monitorización del tema, los tres aspectos que vamos a destacar son:
- Aceptación del sistema peer review
- Sistemas prepublicación: simple versus doble ciego
- Revisión abierta
Después, propondremos unas conclusiones.
Aceptación del sistema peer review
Attitudes towards peer review have remained remarkably stable between 2007 and 2015. Overall satisfaction is essentially identical across all three surveys, with most researchers satisfied (65%, compared to 65% in 2007 and 69% in 2009), and only 9% dissatisfied (9% in 2007, 11% in 2009).
Peer review remains broadly supported: 82% agreed with the statement “without peer review there is no control in scientific communication”, unchanged from the 83% response in 2007 and 2009. Researchers continue to value the benefits of peer review, with 74% agreeing that it improves the quality of the published paper, very similar to 2009 (77%).
Se mantiene muy estable el alto porcentaje de autores que reconocen la necesidad de aplicar sistemas de revisión por pares. Como ya hemos comentado en otros trabajos, el llamado peer review es una de las características del modo de producción científico más analizado, estudiado, criticado, debatido, etc., en la historia de la ciencia, pero siempre se mantiene como «el peor sistema, salvo todos los demás» (con permiso de Churchill).
Sistemas prepublicación: simple y doble ciego
Researchers express a clear preference for conventional pre-publication review (single or double blind), both as authors and as reviewers, whenasked which type of review makes them more or less likely to submit to, or review for, a journal.
There is no clear-cut preference shown for single compared to double blinded review in this survey. This is different from 2007, when respondents were asked how effective they thought each type of review to be, when double blind was clearly preferred over single blind (71% vs 52% thinking it effective).
The result is also markedly different from the results found in the Taylor & Francis survey (Q18), where respondents ranked double blind significantly higher than all other styles of review, and ranked single blind review their least preferred.
En algunos contextos (como en este informe) se identifican las formas de revisión simple y doble ciego como revisiones prepublicación debido a que, en algunas formas de la revisión abierta (que veremos después), tal revisión se lleva a cabo una vez publicado el artículo en alguna plataforma de tipo open access.
Por lo que afecta a las formas simple y ciego el resultado es que ambas disponen ahora de la misma aceptación por parte de los investigadores.
Más adelante, en otro de los apartados de los key findings, el informe añade este interesante dato:
Attitudes towards different types of review vary between subject areas, with Computer science/Maths/IT being the most willing to accept open review, and Materials sciences and Chemistry/Chemical engineering the most firmly wedded to traditional single-blind review. (There are indications that Neurosciences may have an even stronger willingness to accept open review, but the number of responses are too low for this finding to be statistically significant.)
Vemos que, en lo que podemos llamar las áreas Científico-Tecnológicas, existe más variedad que en Ciencias Humanas y Sociales, algo que no deberíamos dejar pasar sin más.
Por ejemplo, en Ciencias de la Computación, Matemáticas y Tecnologías hay una amplia «voluntad» de aceptación de las revisiones abiertas.
En Químicas, se opta por el simple ciego, mientras que sabemos que en algunas áreas Ciencias experimentales (aquí se pueden encontrar referencias) utilizan tanto el simple como el doble ciego
Revisión abierta
Open peer review was ranked significantly behind blinded review by authors and reviewers (though ahead of single review in the T&F2015 survey). Nonetheless, support for open review appears to have grown between 2007/2009 and 2015.
There is now about 50–70% of researchers supportive of it (i.e., said it would make them more likely to submit/review), or prepared to accept (i.e. were neutral towards) open review, though this falls to 35–55% if it includes publishing signed reviews alongside the paper.
It seems to be the combination of signed reports that is the issue, since simply publishing the reviewers’ names with the article doesn’t have this effect. (The T&F2015 survey also had “open and published” reviews rated lower than “open” though the effect was not as large.)
The roughly 50% acceptance of open review is also consistent with accounts from journals that offer reviewers the choice of remaining anonymous or being named (e.g., see Pulverer 2010).
Es muy significativo el gran avance en la aceptación por parte de los investigadores de la revisión abierta. Vemos que hay algunas diferencias en tal aceptación si la revisión abierta incluye, además, publicar los informes de evaluación junto con el artículo evaluado.
Esto es significativo, pero sin duda lo es aún más su alto grado de aceptación en algunos ámbitos, aunque quede por debajo de las dos formas (aún) mayoritarias.
Por nuestra parte, siempre que tenemos oportunidad nos gusta añadir que el sistema de revisión abierto no implica necesariamente ni prepublicación (se puede publicar el artículo en su versión inicial a la vez que la versión final), ni que los evaluadores no sean seleccionados por la dirección de la revista.
Conclusiones
Esta oportuna investigación confirma una clara tendencia a la que ya habían dado soporte grandes editoriales científicas, desde Nature hasta Elsevier, así como las principales bases de datos, Scopus y Web of Science.
Esta tendencia consiste en poner el énfasis en la revisión por pares, y no en la forma que adopte tal revisión. Dicho de otro modo, aquello que marca la diferencia entre una publicación que es científica y otra que no lo es, consiste en el uso del sistema peer review, no en el hecho de tal sistema sea doble, simple ciego o que sea una revisión abierta.
Las innovaciones en el sistema de evaluación pueden pasar por contemplar muy diversas formas y variedades de llevarla a cabo (por ejemplo, pre vs postpublicación, simple vs ciego, etc.), pero no por ausencia de revisión.
Se confirma también algo que no deberíamos dejar pasar sin más en las Ciencias Humanas y Sociales, a saber, que existe una uniformidad en nuestro campo (doble ciego) que, en cambio no encontramos en las otras Ciencias, a las que tantas veces nos queremos parecer.
Si podemos observar tal variedad en otras ramas científicas tan poco sospechas de falta de madurez como las Ciencias de la Computación, las Matemáticas, la Biomedicina, etc., y en cambio, tal uniformidad en nuestras áreas, podría deberse o bien a que las Ciencias Humanas y Sociales siguen prisioneras de complejos que parecían superados o carecemos de un buen conocimiento entre nosotros de lo que es, en realidad el sistema peer review.
Que cada uno se quede con la versión que prefiera. Mientras tanto, debemos la bienvenida a esta oportunísima clase de estudios que, con suerte nos puede ayudar a superar cualquiera de las dos cosas apuntadas.
Anexo – Publishing Research Council (PRC)
El PRC se presenta así mismo de este modo en su página de créditos:
The Publishing Research Consortium is a group of associations and publishers that support research into global issues that impact scholarly communication, in order to promote evidence-based discussion.
Our objective is to support work that is scientific and pro-scholarship. Overall, we aim to promote an understanding of the role of publishing and its impact on research and teaching.
Entre sus miembros están:
