La evaluación de artículos científicos, o peer review, es una actividad imprescindible. Gracias a ella, la comunicación científica ofrece unas garantías muy superiores a las de otras formas de comunicación.
Sin embargo, evaluar artículos científicos no es fácil, y la necesidad de las revistas de contar con una amplia planta de evaluadores, les lleva a encargar este trabajo a veces a personas poco cualificadas para el mismo. Tal vez son buenos expertos en su campo, pero pueden ser pésimos evaluadores de determinados trabajos por diversas razones.
7 principales errores al evaluar artículos científicos
Uno de los problemas principales suele consistir en tener una baja formación en metodologías. Algunos evaluadores conocen, tal vez, muy bien la que ellos utilizan, pero lo ignoran todo de las demás. Pero este es solo uno de los problemas.
A continuación, «el top 7» de los errores que cometen los evaluadores pésimos. Algunas de tipo técnico y otros de actitud, pero todos indeseables :
1. No presentar un informe bien articulado
1.1. ¿En qué consiste?
Las revistas académicas esperan de los autores que respondan a todas y de cada una de las observaciones y objeciones que han presentado los evaluadores a su trabajo. Pero esto, que ya puede ser difícil de por sí, se complica aún más si los evaluadores redactan informes desordenados.
Un informe mal presentado significa que en un mismo párrafo presentan más de una idea diferente, que la misma idea la repite varias veces en distintos párrafos y, por supuesto, que algunas ideas no se entienden por una redacción enrevesada.
1.2. ¿Por qué es un signo del mal evaluador?
Es uno de los errores que están en la zona de menor gravedad, pero aún así lo debemos considera un signo del mal evaluador porque, (a) o bien significa que no se ha tomado su trabajo en serio o, (b) significa que escribe de forma desordenada porque tiene un pensamiento desordenado.
En cualquiera de los dos casos, la evaluación sufrirá de falta de calidad y proporcionará un trabajo extra a todos los demás implicados, autores y editores de la revista.
2. No buscar información antes de redactar el veredicto
2.1. ¿En qué consiste?
Al evaluar artículos científicos puede suceder que lo sepamos casi todo del tema principal del trabajo. Pero esto es más bien una rareza. Lo más habitual, aún siendo competentes en el tema, es que haya cosas que ignoramos del mismo o que sean nuevas para nosotros, ya sea de la metodología o de alguna dimensión del caso estudiado. Además, es probable que se utilicen conceptos o entidades de las que tenemos un escaso conocimiento.
Lo recomendable en estos casos es dedicar una parte del tiempo de nuestra evaluación a informarnos sobre estos aspectos que desconocemos. Incluso nos puede ir bien hacer una búsqueda en un sistema de información de muy amplio espectro, como Google Scholar, para revisar los últimos trabajos publicados sobre el tema.
2.2. ¿Por qué es un signo del mal evaluador?
Como en el caso anterior, es posible que no estemos ante un error grave, y en todo caso, en alguna situación es posible que esta búsqueda previa no sea completamente necesaria. Pero es evidente que algunos malentendidos se podrían evitar si el evaluador pone en sus rutinas de trabajo la idea de hacer una búsqueda previa de cualquier punto del trabajo del no sea totalmente conocedor, o en el que hace algún tiempo que no trabaja.
Además, es muy posible, que revisar trabajos parecidos que haya podido encontrar gracias a esta búsqueda, le ayuden a producir un mejor informe, con recomendaciones mucho más adecuadas.
3. Usar un registro agresivo, prepotente o maleducado
3.1. ¿En qué consiste?
Con este error, ya nos metemos en la zona de errores pésimos al evaluar artículos científicos (los anteriores eran malos, porque en casi todo hay grados). Consiste, como es fácil deducir, en producir informes donde en lugar de mantener el registro neutro propio de la ciencia y de la academia se utiliza un lenguaje impropio con alguno de los rasgos indicados: agresividad, prepotencia o mala eduación.
Este error es tan absolutamente injustificado que ni siquiera debería formar parte de la lista. Las buenas editoriales deberían expulsar de su lista de expertos a aquellos que entregan informes que rompen la más elemental lógica académica con el uso de un lenguaje abusivo. En realidad, es una mala señal también por parte de las revistas el mero hecho de que esta clase de informes llegue a los autores.
Los evaluadores honestos, que ante todo quieren ayudar a mejorar la comunicación científica, pueden preguntarse: «¿utilizaría el mismo registro de lenguaje si mi identidad fuera revelada junto con mi evaluación»? Si la respuesta es que no, debe revisar el registro utilizado.
3.2. ¿Por qué es un signo del evaluador pésimo?
En lugar de ofrecer explicaciones u objeciones basadas en razonamientos, insulta, desprecia o agrede a los investigadores y a su obra. Los editores deberían devolver al evaluador esta clase de revisiones, pero a veces no es así y llegan a mano de los autores. En este caso, los autores no deben responder. En su lugar, deben denunciar al evaluador frente a la dirección de la revista.
Es un signo claro del evaluador pésimo porque con un registro inadecuado ha arruinado la que podría haber sido una buena evaluación de haber mantenido el registro neutro propio del lenguaje académico.
4. Convertir el anonimato en un permiso para ser arbitrario
4.1. ¿En qué consiste?
Casi nos dan ganas de enunciar este error cómo «convertir el anonimato en un permiso para matar».
La mayor parte de las revistas de ciencias sociales y humanas practican el así llamado doble ciego o, menor proporción, el simple ciego. En ambos casos, los autores desconocen el nombre de los evaluadores.
Basta con leer algunas observaciones, aún siendo educadas, para darse cuenta de que el evaluador está aprovechando esta condición de anonimato para convertirla en condición de impunidad, al incluir observaciones o exigencias que, en caso de ser identificado, con toda seguridad se cuidaría mucho de hacer.
Recomendar la inclusión de referencias del propio evaluador o de personas de su equipo, o hacer afirmaciones ridículas, como afirmar que una especialidad académica (aunque sea minoritaria) no existe, o que, no se deben poner objetivos en la introducción, etc., son ejemplos que hemos visto en ocasiones.
En todos los casos, no tenemos dudas de que el evaluador lo hubiera pensado dos veces antes de hacer estas recomendaciones de saber que su identidad sería conocida.
4.2. ¿Por qué es un signo del evaluador pésimo?
Por varias razones. Una es que no se respeta a sí mismo, al presentar exigencias arbitrarias, con lo cual es imposible saber hasta qué punto su evaluación tiene la más mínima calidad, ya que ha demostrado carecer de autoexigencia.
Otra razón es que contamina su evaluación con propuestas irresponsables que, de haber tenido que dar la cara frente a autores y público, de ninguna forma hubiera hecho. Por tanto, todo señala de que son de alguna forma un fraude.
5. Llevar a cabo la evaluación sin competencias en el tema principal del artículo
5.1. ¿En qué consiste?
Este error se explica por sí solo, y seguramente el lector se preguntará cómo es posible que se produzca. Nosotros también nos lo preguntamos, pero sucede y con demasiada frecuencia.
No solo sucede en revistas nacionales o de bajo impacto. Hace poco, los autores de un trabajo sobre SEO académico, vimos rechazado un manuscrito porque uno de los evaluadores de una revista internacional de alto impacto sentenció que no existía tal cosa como el SEO aplicado a la producción científica. Es fácil imaginar lo que pensarían de este evaluador los responsables de promoción de las principales editoriales académicas del mundo.
Era evidente su falta de formación (o de simple preocupación) en comunicación académica y la necesidad de maximizar su impacto. Sin embargo, en lugar de hacer una búsqueda sobre el tema, o aún más fácil, de declinar la evaluación tuvo a bien descalificar la totalidad del trabajo.
Para tranquilidad del lector, el trabajo finalmente fue publicado en una revista de máximo prestigio. Final feliz, ciertamente, pero un evaluador ignorante puso en peligro la comunicación académica. Muchos autores, por desgracia, dejan en el cajón sus trabajos cuando reciben descalificaciones de este calibre. Además, la revista tiró por la ventana el tiempo y se privó de un trabajo novedoso, como demuestra que otra de gran nivel lo aceptó sin problemas, así como las citas que ha producido.
5.2. ¿Por qué es un signo del evaluador pésimo?
A medida que avanzamos en la lista, parece menos necesario justificar la razón por la cual esos puntos son pésimos. La verdad es que son bastante autoevidentes. Sin embargo, para mantener la simetría de tratamiento, nos sometemos a la disciplina de explicarlos igualmente.
Si un evaluador, por la extraña razón que sea, entrega una evaluación de un tema en el que no es competente, esta evaluación va a carecer de la más mínima calidad. O bien será intrascendente, esto es, en lugar de presentar una evaluación incisiva, será una evaluación inane, o bien presentará críticas dañinas por ser absurdas e inaplicables al caso.
En ambas hipótesis, tendremos una evaluación arruinada. Y tiempo perdido para todo el mundo, incluso oportunidades perdidas si un buen trabajo se acaba rechazando. Igual de malo si un mal trabajo se acaba aceptando sin cambios porque el evaluador hizo una revisión inane.
6. Ignorar las metodologías cualitativas
6.1. ¿En qué consiste?
Casi todos los investigadores o expertos tienen al menos una formación básica en metodologías cuantitativas. Las bases de la investigación cuantitativa, esto es el trabajo con muestras aleatorias y los tratamientos estadísticos básicos se enseñan en muchas carreras universitarias y, forman parte, de manera acertada, de cualquier cultura de nivel universitario.
Sin embargo, guste o no a nuestros evaluadores, no toda la ciencia se hace mediante muestras aleatorias ni con datos estadísticamente significativos.
Por el contrario, las investigaciones cualitativas, con principios de muestreo diferentes y buscando la representación analítica (en lugar de la estadística), triunfa en todo el mundo y en todas las disciplinas. Y todas, significa todas, no solo en algunas ciencias sociales y en humanidades, sino también en disciplinas como la economía, el derecho, la medicina o la astronomía, por citar algunas de las más dispares que se nos ocurren.
Se utiliza en toda clase de contextos, no solamente en la academia, sino que los principales organismos y empresas de todo el mundo, desde las Naciones Unidas hasta el Banco Mundial, pasando por toda clase de organismos y empresas, utilizan metodologías cualitativas para alcanzar sus metas de conocimiento.
Las investigaciones cualitativas, como hemos señalado, se caracterizan por no buscar la representatividad estadística, sino analítica. No buscan la generalización, sino la transferibilidad, y no utilizan muestreos aleatorios, sino significativos.
Por poner un ejemplo muy simple del campo de la comunicación social: ¿que tiene más interés para para la sociedad, estudiar los 500 medios de comunicación que hay en un país en un momento determinado, aunque 490 de ellos sean totalmente desconocidos para el gran público, o analizar cómo informan los 10 medios más influyentes del país?
Si usted es de los que creen que, para no tirar el dinero de los contribuyentes, es mejor que los investigadores que utilizan fondos públicos se centren en los 10 más influyentes, usted es partidario de las metodologías cualitativas, al menos en algún campo. Si usted entiende que, con un solo caso de una nueva estrella de neutrones que se comporta de forma no prevista, los físicos están dispuestos a revisar sus teorías cosmológicas, usted entiende la necesidad de las metodologías cualitativas incluso en terrenos como la física.
6.2. ¿Por qué es un signo del evaluador pésimo?
En un contexto como el señalado, cada vez que un evaluador examina una investigación cualitativa con criterios cuantitativos está exhibiendo una gravísima irresponsabilidad, porque evalúa un trabajo para el que, metodológicamente hablando, no está preparado en absoluto.
Aplicar o esperar metodologías propias de la representatividad estadística en un estudio de caso, o en un análisis comparativo, donde en ambos casos, N es igual a uno o a un pequeño número de casos, es un muestra gravísima de incapacidad del evaluador. Su evaluación estará viciada de raíz y tendrá una condición profundamente pésima
7. Exigir nuevas investigaciones
7.1. ¿En qué consiste?
Al evaluar artículos científicos, puede suceder que un evaluador se encuentra en la situación que no sabe qué decir sobre el trabajo que está analizando. No es que no sepa nada sobre el tema, es que no encuentra la manera de ser incisivo y hacer propuestas interesantes sobre lo que está examinando.
Una solución, ciertamente difícil es profundizar en el tema analizado. Volver a leer el artículo tomando notas puede ayudar, hacer búsquedas en Google Scholar (o en Scopus o en WoS) también. Otra solución es, simplemente, reconocer que no es capaz de señalar ningún problema significativo. También esto es difícil, a nadie le gusta reconocer no ser capaz de aportar algo en una evaluación.
Lo que no está justificado nunca es la solución fácil, pero profundamente antiética, consistente en proponer otra investigación, como suelen hacer tantos y tantos evaluadores cuando no saben qué decir.
7.2. ¿Por qué es un signo del evaluador pésimo?
Las normas de mayor prestigio en la publicación académica, las del COPE establecen explícitamente que no es misión del evaluador extender el trabajo más allá de su alcance actual. Ciertamente, el evaluador puede pedir todas las aclaraciones aclaraciones que considere necesarias, así como sugerir tratamientos adicionales de los datos para clarificar los resultados, pero no investigaciones nuevas.
Tal como dicen las guías del COPE, literalmente (el destacado es nuestro):
It is not the job of the reviewer to extend the work beyond its current scope. Be clear which (if any) suggested additional investigations are essential to support claims made in the manuscript under consideration and which will just strengthen or extend the work.
COPE Guidelines (ver enlaces)
Pedir nuevas investigaciones, o extender la investigación más allá de su alcance actual de manera injustificada, como sustitución de una crítica real, es la más auténtica señal del pésimo evaluador.
Con esta exigencia, además de demostrar un nulo respeto por el trabajo que está evaluando, demuestra una carencia de responsabilidad al poner en peligro la comunicación de una investigación que tiene sentido por sí misma.
Ninguna investigación es completa en sí misma, de modo que esto no es excusa para desbordar las atribuciones del evaluador y poner como exigencia llevar a cabo otra investigación.
¿Otros errores al evaluar artículos científicos?
Evaluar artículos científicos es una tarea sofisticada. La lista de errores posibles seguramente es imposible de cerrar debido a la creatividad humana a la hora de hacer las cosas mal.
La captura que hemos puesto más arriba recoge los 10 errores principales de una mala peer-review según Bert Blocken en un artículo publicado en Elsevier Connect.
Aquí hemos señalado, con un evidente sesgo, los que hemos tenido la ocasión de observar (o sufrir) de forma más directa y recurrente en casi tres décadas de experiencia en el campo de la comunicación académica,
Aunque solamente sea a título de ejemplo, otros errores evidentes son llevar a cabo la evaluación de forma negligente, esto es, sin dedicarle el tiempo necesario. O permitir que sesgos del evaluador influyan para ser injustamente favorables o injustamente críticos con el trabajo. También, traicionar la confidencialidad de todo el proceso, o tratar de influir para que se incluya bibliografía propia, o no informar de conflicto de intereses.
Además, tenemos los que señala la captura de más arriba, en la que algunos coinciden con los tratados aquí, pero otros no. Por ejemplo, con acierto, Blocken señala entre otros, retrasar la entrega del informe, ignorar a los editores o soslayar la adherencia a aspectos éticos, entre otros.
La regla de oro
En muchas ocasiones, y esta es una de ellas, conviene adaptar al caso la llamada regla de oro de la ética, que tienen antecedentes casi tan antiguos como la humanidad, reconocida por varias religiones, pero que también por tratados de ética de todo signo agnósticos o laicos:
Antes dijimos que un evaluador honesto, antes de enviar su informe de revisión puede preguntarse si utilizaría el mismo tono o registro de lenguaje si supiera que su identidad y su evaluación se van a hacer públicas. Es un buen test, pero también sirve este otro: «¿he evaluado de la misma forma que a mí me gustaría ser evaluado?».
Algún lector puede pensar que con la búsqueda de la educación o, al menos, el tono neutro, la crítica sincera puede sufrir. Si piensa esto, piense de nuevo. No hay ninguna crítica, por demoledora, que sea que necesite de un registro maleducado.
Conclusiones
Llevar a cabo evaluaciones completas, detalladas incisivas y bien articuladas es lo que se espera de un buen evaluador, aunque sabemos que no sea una tarea fácil.
Por otro lado, lo menos que se puede esperar es que no se ampare en el anonimato para convertirlo en impunidad, que no desborde sus competencias, y por supuesto que sea educado y respetuoso con el trabajo ajeno en su informe.
Lo primero es difícil, una veces lo podremos hacer mejor que otras. Pero para lo segundo no existe ninguna excusa.
Además si los evaluadores evitan cuidadosamente estos siete errores, no solamente estarán ayudando a la comunicación científica, y a la ciencia en definitiva, sino que se ayudarán, y mucho a sí mismos.
Hemos señalado en varias ocasiones que la revisión abierta (ambas parte, autores y evaluadores hacen pública su identidad, y los informes de evaluación se publican junto con el artículo) podría ser una solución al menos a una buena parte de estos problemas. Como mínimo, a los que hemos señalado con los números 3, 4 y 5. Casi nada.
La evaluación abierta también tiene problemas que deben atenderse con cuidado, antes de adoptarla, pero todos los modos de evaluación los tienen. Lo que importa es el balance final, y es posible que sea positivo. Ahora bien, sin duda, necesitamos conocerla lo mejor posible antes de adoptarla en ámbitos como las Ciencias Sociales y las Humanidades.
Por último, cabe señalar que ser capaz de identificar un error no significa no haberlo cometido. Al menos en una ocasión, hemos caído también en uno de estos errores. Pero de esto también se aprende.
Más sobre cómo evaluar artículos científicos
- Cómo redactar un informe de peer review: lo que las editoriales esperan y los autores deben saber
- Cómo responder a la evaluación (peer review) de un artículo científico
- Ethical guidelines for peer reviewers (English)
- Ethical Guidelines for peer reviewers (Latin American Spanish)
- Evaluación de artículos en revistas científicas: doble ciego vs simple ciego. Discusión y fuentes
- Peer review, revistas científicas y ciencia evaluada: introducción para jóvenes investigadores
- Publons Academy: Become a master of peer review
- Ten tips for a truly terrible peer review
