Cómo responder a la evaluación (peer review) de un manuscrito: consejos para los autores de un artículo científico

Edición Julio 2023

Como es sabido, para publicar un trabajo en una revista científico-académica, es necesario superar un doble proceso de evaluación. Solo entonces, el manuscrito será aceptado y se convertirá en un artículo científico.

La primera evaluación es de tipo editorial. Corresponde a la decisión de los editores de la revista y se basa en la calidad general percibida del trabajo y en su adecuación a los temas y políticas editoriales de la revista.

La mayor parte de los rechazos de artículos científicos procede de esta primera fase. Estimaciones basadas en informaciones de los propios editores, señalan que las revistas de mayor impacto llegan a rechazar hasta el 90% de los originales que reciben.

En cambio, si el artículo es aceptado para ir a revisión, las estimaciones señalan que la tasa de aceptación (después de las evaluaciones) se acerca al 50%. No obstante, todo esto son estimaciones basadas en experiencias cercanas y los datos pueden variar enormemente según las revistas o el área de conocimiento, etc.

Para el caso que nos interesa aquí, nos vamos a centrar en el supuesto de un artículo que ha pasado a la segunda fase, la que se conoce como evaluación por pares o peer review.

Peer review

Recibe este nombre porque la llevan a cabo expertos que, en principio tienen competencias similares a los autores de los artículos. Aunque esto es una cuestión lateral, aprovecho para recordar que peer review NO es lo mismo que doble ciego. El doble ciego es solamente uno de los tres modos principales (doble, simple y abierto) en que el peer review se puede llevar a cabo.

Volvamos al proceso. Cuando las evaluaciones son totalmente positivas, cosa que no sucede a menudo, son una fuente de satisfacción. Pero cuando incluyen observaciones negativas, que es lo más probable, pueden ser una fuente de frustración, sobre todo para autores poco experimentados, que pueden ver esas interminables listas de objeciones como una barrera infranqueable.

Las evaluaciones son una auditoría

Sin embargo, lo cierto es que las revisiones por pares son una impagable oportunidad de mejora y debería verse siempre como un privilegio haber disfrutado de la consultoría gratuita de varios expertos en el ámbito del trabajo.

Como sea, el resultado de una evaluación por pares puede consistir en alguna de estas tres situaciones:

• Rechazo, esto es el artículo no será publicado debido a que los evaluadores coinciden en considerar que el trabajo no es adecuado para su publicación. Como es lógico esta es la fuente de mayor frustración, pero incluso esto es una oportunidad, como intentaremos argumentar después.
• Aceptado con cambios menores. Esto sucede cuando hay coincidencia entre los evaluadores de que el artículo es valioso y debe ser publicado, pero uno o más de los evaluadores proponen cambios menores. Son cambios que afectan a la redacción, el formato y, en general, cambios que no afectan al núcleo ni de la investigación ni del artículo.
• Aceptado con cambios mayores. Los evaluadores coinciden con que el artículo es potencialmente valioso, pero uno o más de ellos propone cambios sustanciales. En tales casos, la aceptación final del artículo queda condicionada a la capacidad de los autores para tratar estos cambios y trasladarlos a una nueva versión del artículo. Tales cambios pueden requerir mejoras importantes en la estructura y en la redacción del artículo. También pueden implicar la necesidad de reorganizar, clarificar o presentar mejor los resultados, aportar explicaciones convincentes en determinados apartados, subsanar errores o incorporar evidencias adicionales, etc.

En el diagrama precedente hemos mostrado las tres posibilidades habituales y, en el caso de la tercera, hemos indicado una flecha de retorno. Indica que, en un dictamen de aceptación con cambios mayores, la aceptación es provisional, ya que como se indica en recuadro correspondiente, está condicionada a la aceptación por parte del editor e incluso a una segunda ronda de evaluaciones según la importancia de los cambios propuesto.

El lector atento pensará que falta una cuarta posibilidad: aceptación sin cambios. Ciertamente, es posible, pero es muy poco habitual y en todo caso, aquí habría poca cosa que decir, salvo felicitar a los autores de esta proeza.

Lo que se dice aquí responde a un intento honesto para ayudar a los autores a ser más eficaces al responder a evaluaciones. Pero no hay una ciencia exacta detrás de todo esto (al menos que yo sepa). Además, por si fuera poco, el mundo de la comunicación académica es de los más impredecibles del mundo (un intento elegante de decir que está lleno de sesgos tomados como dogmas, manías y prejuicios), a veces con cada revista y cada evaluador inventando reglas, aunque vayan contra la evidencia. Por tanto, use el lector estos consejos según sus intereses, pero bajo su propia responsabilidad.

En lo que sigue, nos centraremos en el caso de la aceptación condicionada a cambios mayores, ya que es la que necesita una mayor capacidad de reacción. Igualmente, después, trataremos los otros dos casos.

Aceptación condicionada a cambios mayores

Esta es la clase de respuesta que exige la máxima capacidad de reacción eficiente por parte de los autores. Es, por supuesto, la que implica el mayor desafío intelectual, razón por la cual es la que debemos tratar con el mayor cuidado y el mayor grado de autoexigencia. Publicar en revistas de calidad no es extremadamente difícil. Pero lo que está garantizado es que nunca es fácil.

Estrategia de actuación o la clave es la actitud

Los dos principales enemigos de una reacción adecuada a una revisión que incluye cambios mayores son la procrastinación, y si va acompañada por la frustración y un ego herido, aún peor.

Una primera (mala) reacción puede consistir en la tentación de tirar la toalla: «si tantas objeciones nos ponen, retiramos el trabajo». Pero no hace falta decir que sería un error monumental y no debemos considerarla nunca. Pero si alguna vez ha sentido esta tentación, no se culpe demasiado, piense que afectó al mismísimo Einstein, quien retiró, ofendido, un artículo al recibir el informe de evaluación de la revista que señalaba un error.

Así que, para tratar estos posibles problemas de actitud iniciales, vamos a proceder de la siguiente manera:

• En primer lugar, evitaremos las precipitaciones, pero con igual cuidado evitaremos la procrastinación. Es vital ocuparse de la evaluación lo antes posible. Primero, porque si dejamos pasar mucho tiempo perderemos el impulso, y segundo porque los editores pueden dar un plazo breve para mandar la nueva versión del artículo.
• En segundo lugar, es importante leer con toda atención las objeciones con la cabeza muy fría, y si hace falta las leeremos dos veces, hasta estar completamente seguros de entender perfectamente el alcance de todas y cada una de ellas, sobre todo de las más críticas. Releer las objeciones nos ayudará a refinar nuestras respuestas, encontrando así la mejor versión posible de las mismas.
• En tercer lugar, debe decidir para cada objeción si la aceptará, esto es, intentará mejorar el manuscrito en ese punto, o la rechazará. En este segundo caso, piénselo dos veces antes de proceder así. No obstante, si cree, después de considerarlo con cuidado, que debe rechazar una objeción, hágalo así y concentre sus esfuerzos en dar las razones para la misma.
• En cualquier caso, después de consultar con los coautores, podemos consultar con colegas de confianza si tenemos dudas en algún apartado. La actividad científica es un trabajo colaborativo y esto se manifiesta de diversas formas.

Un breve excurso a propósito de Einstein

Si alguna vez le sorprendió el funcionamiento del peer review, piense que nada menos que al gran Einstein, probablemente el científico más brillante del siglo XX, le pasó lo mismo. Claro que en su época, el sistema del peer review era (relativamente) reciente.

La cuestión es que, sorprendido por recibir un informe de evaluación de su trabajo y más aún que fuera anónimo, retiró el artículo de la revista con una declaración que es todo un poema al desconocimiento de este modo de trabajo:

Tabla con observaciones y respuestas (Tabla OyR)

El siguiente paso, una vez armados de la actitud adecuada, consiste en preparar una tabla donde trasladaremos todas las objeciones y propuestas recibidas. La razón es que, si en algo insisten las recomendaciones de las mejores editoriales a sus autores, es en que deben dar cuenta de todas las observaciones recibidas.

Nada más transparente ni más persuasivo que montar una tabla a estos efectos. La llamaremos Tabla OyR (por Observaciones y Respuestas). Su función es doble, ya que consiste en:

• analizar de forma adecuada todas y cada una de las observaciones presentadas por los evaluadores;
• demostrar que hemos sido capaces de ocuparnos de todas las observaciones y de dar respuesta a cada una de ellas.

Es importante entender que el editor, la persona ante la cual debemos responder, actúa como representante de los intereses de la revista y de sus lectores, y por tanto está interesado en publicar trabajos de calidad, de modo que será al primero al que debemos convencer de que hemos sido capaces de dar respuesta adecuada a todas las objeciones.

El editor puede decidir a partir de esta respuesta, o puede volverá a solicitar la opinión de los evaluadores en una segunda ronda, por tanto, también necesitamos convencer a los evaluadores en nuestras respuestas.

Por eso es tan importante demostrar que nos hemos tomado muy en serio las observaciones y que tenemos capacidad para responderlas a todas, ya sea aceptándolas o rechazándolas (en este último caso, de forma especialmente razonada).

Como sea, la Tabla OyR puede tener la siguiente estructura:

• Una fila por cada una de las observaciones atómicas de cada uno de los evaluadores (entre 2 y 3, típicamente).
• Una columna para las observaciones de los evaluadores y otra para nuestra respuesta, además de una columna para poder numerar cada observación para facilitar luego la forma de referirnos a cada observación. El resultado posible lo muestra la imagen siguiente:

El siguiente paso, normalmente a cargo del autor de correspondencia (en su caso) consistirá en tomar cada una de las evaluaciones y analizarlas minuciosamente, párrafo a párrafo, a fin de identificar y separar cada objeción unitaria y asignarla a una de las filas de la tabla.

¿Qué entendemos por objeción unitaria? Nos referimos a que en un mismo párrafo de una evaluación puede haber más de una objeción de diferente naturaleza. Hay que decir que, a veces, los evaluadores no presentan informes muy ordenados, sino todo lo contrario.

En concreto, en una misma frase, por ejemplo, pueden acumular dos o más objeciones, cada una de ellas, de diferente tipología y alcance. Es por esto que es imprescindible separarlas, a fin de que, en la tabla final resultante, cada fila corresponda a una objeción unitaria.

La imagen siguiente presenta una tabla de esta clase (ficticia) con un ejemplo de 5 observaciones elegidamente simples para no desviarnos de la cuestión (las objeciones realistas suelen ser de mayor calado y también suelen ser más numerosas, porque a veces un solo evaluador puede proponer una decenas de observaciones).

A continuación, como es lógico, procede responder, una a una, a las objeciones. Ello implicará cambios en los artículos en algunos casos, o rechazar la objeción con argumentos sólidos y adecuados en otros, hasta producir una versión de la tabla como la que mostramos a continuación (de nuevo, el ejemplo es ficticio):

En el modelo (ficticio) con el que ilustramos esta tabla, las respuestas son relativamente cortas y homogéneas. Pero en casos reales, las celdas tendrán la extensión necesaria para dar cumplida respuesta en cada caso.

Una vez tengamos la primera versión de la Tabla OyR la dejaremos durante un tiempo (24 horas, p.e.) y la volveremos a revisar después con toda atención, buscando puntos donde podamos mejorar nuestras respuestas.

Deberá existir, en todo caso, una correspondencia exacta entre los cambios aceptados y la nueva versión del artículo que los habrá incorporado. Revisaremos también la nueva versión del artículo al menos dos veces antes de enviarla. Todos los coautores deberán dar también su aprobación a la tabla, y contribuir a ella, así como dar su aprobación a la nueva versión.

¿Es necesario responder exactamente con una tabla?

Por supuesto que no. La tabla OyR es antes que nada un elemento de trabajo interno. Podemos enviarla a la revista junto con la nueva versión del trabajo, o podemos enviar en su lugar una lista de cambios. Cualquier procedimiento que demuestre que hemos sido capaces de tomar las observaciones y de responderlas, una a una, puede servir perfectamente. Algunas revistas piden específicamente una lista de cambios y una nueva versión del artículo con control de cambios o con los cambios destacados en otro color.

Otro modelo, por tanto, sería el de fichas, en el cual cada observación junto con su respuesta es una especie de ficha en la que también podemos enumerar cada observación y utilizar un mismo esquema para tratarla. Esta alternativa puede ser conveniente si tenemos la necesidad de desarrollar de una forma muy extensa cada respuesta.

Response letter

La carta de respuesta o response letter, es el escrito que se envía al editor de la revista junto con la nueva versión de nuestro artículo. Tendrá estos componentes:

• Una breves palabras de agradecimiento por la labor de los evaluadores. Este elemento tiene algo de ritual, ciertamente, ero nunca estará de más, especialmente si, en efecto han hecho un buen trabajo.
• Informaciones generales sobre la nueva versión del artículo. En estas consideraciones podemos hacer un resumen de los cambios principales que hemos llevado a cabo.
• La Tabla OyR con todas las observaciones contestadas, una a una, si decidimos que nos puede ayudar de cara al editor. O una lista de cambios si es la manera que el editor nos pide que expliquemos los cambios.
• La nueva versión del artículo. Hay que tener en cuenta que algunas revistas exigen que los cambios estén marcados mediante control de cambios o con los cambios marcados en otro color.

Estrategia a seguir según el tipo de objeciones

En los apartados precedentes hemos visto el resultado final de nuestro trabajo de respuesta a los evaluadores. En lo que sigue, vamos a considerar las cuestiones estratégicas que nos pueden conducir a este objetivo.

En primer lugar, vamos a distribuir las observaciones de los evaluadores en función de su ubicación en dos ejes diferentes:

• Primero: ¿las objeciones o propuestas de los evaluadores las consideramos acertadas o desacertadas?
• Segundo: ¿las objeciones o propuestas implican mejoras en el trabajo o implican una nueva investigación?

¿Acertadas o desacertadas?

Para decidir sobre el primer eje, a saber, si las objeciones u observaciones de los evaluadores son acertadas, se supone que contamos con nuestra propia capacidad de juicio crítico como investigadores. Al fin y al cabo, por algo hemos reportado los resultados de una investigación. Así que algo debemos saber sobre el tema. Opcionalmente, siempre podemos pedir consejo a un colega de confianza.

En el caso de artículos que proceden de una tesis por compendio, el equipo que forman autor y director(es) cumple perfectamente esta función. Como sea, si el artículo tiene varios autores, esta forma de inteligencia colectiva también debería ayudar mucho a tomar estas decisiones con una base sólida.

En cualquier caso, no debería ser difícil reconocer las recomendaciones desacertadas. Suelen ser el resultado de evaluadores que, o bien conocen mal la metodología utilizada y hacen recomendaciones incompatibles con la misma, o bien desconocen lo esencial del objeto de estudio y hacen propuestas inviables.

¿Mejoras adicionales o nueva investigación?

Sobre el segundo eje: algunas propuestas pueden ser hipotéticamente acertadas pero pueden implicar a la vez llevar una investigación diferente de la que está siendo objeto de evaluación. Son frecuentes, por desgracia, los casos en lo que el evaluador pierde de vista que su misión NO es extender el alcance del trabajo, sino evaluar lo que tiene ante él. Las normas del COPE son muy claras en este punto:

It is not the job of the reviewer to extend the work beyond its current scope

COPE Guidelines

La siguientes es la captura del punto concreto de las COPE Guidelines que hemos citado más arriba (enlace en la imagen y al final de esta entrada):

Para decidir sobre este segundo eje, nos podemos hacer la misma pregunta que plantea el COPE en su guía sobre ética de la evaluación (ver captura superior):

• ¿el evaluador propone análisis adicionales para mejorar la claridad del trabajo, o
• propone una extensión del mismo más allá de su alcance actual?

La primera propuesta es legítima, y deberemos seguirla; la segunda no y por lo tanto no estamos obligados a aceptarla.

Otra forma de decidir es considerar si nos proponen cambiar el objeto de estudio o aplicar una metodología diferente. En estos dos casos estaríamos en la misma situación: el evaluador está sobrepasando sus funciones, ya que plantea una investigación nueva o en todo caso diferente.

Recomendaciones bibliográficas

Otra fuente frecuente de recomendaciones inadecuadas procede de la obsesión de algunos evaluadores por imponer sus propia lista de referencias. Se trata de la situación en la cual un evaluador exige que se incorporen ciertas referencias, o cuando decide que el artículo no es publicable por no incorporar ciertas referencias.

Se trata de nuevo de una mala evaluación. Lo que se está evaluando principalmente es la calidad de la investigación no la lista de referencias, aunque este sea uno de los ítems en consideración. La cuestión es que una investigación de calidad no se puede rechazar porque los autores no compartan las mismas lecturas que el evaluador. Sería irracional. Lo que puede hacer el evaluador es recomendar a los autores determinadas referencias, pero nunca obligar a incorporarlas.

Si fuera el caso que alguno de los evaluadores impone como condición la incorporación de determinadas referencias y los autores están en desacuerdo por buenos motivos, deben denunciar a la revista esta evaluación como deficiente y pedir que se retire a ese evaluador.

Tipología de objeciones

Armados con las ideas anteriores, tenemos cuatro tipos de posibles objeciones según el cuadrante donde se ubiquen, como muestra el siguiente diagrama:

El cuadro anterior no puede ser más claro: estamos obligados a aceptar objeciones o propuestas que sean acertadas y NO impliquen una nueva investigación. En los otros tres casos o bien debemos rechazar directamente las objeciones (lado inferior del cuadrante) o bien tenemos derecho a no aceptarlas (lado superior izquierdo).

No obstante, vamos a proceder a examinarlas. Fusionaremos dos de ellas en un mismo Tipo 2 por claridad:

• Tipo 1: acertada SIN nueva investigación. Son propuestas de cambio que van a mejorar el trabajo, y que siempre debemos aceptar.
• Tipo 2: desacertada con o sin nueva investigación. El único punto importante aquí es el desacierto de la propuesta. Por tanto, debemos rechazarlas siempre.
• Tipo 3: acertada CON extensión de la investigación. Al incluir propuestas para extender la investigación, el punto más significativo aquí es que NO estamos obligados a aceptarlas. Corresponde a nuestra capacidad de juicio crítico decidir si llevamos a cabo la extensión que se propone o nos negamos a ello mediante un razonamiento sólido.
  

Cómo proceder con éxito

Vamos a examinar como proceder con éxito en cada caso, según el tipo de objeción siguiendo la tipología anterior:

Objeciones tipo 1: acertadas sin nueva investigación

La clave del éxito en las objeciones del Tipo 1 es la motivación por seguir haciendo bien nuestro trabajo, por tanto es algo que queda totalmente dentro de nuestro alcance. Ya lo hicimos con el trabajo que ahora está en revisión, o de lo contrario, no hubiera superado la fase editorial.

Aceptar y aplicar los cambios propuestos puede aportar una carga de trabajo considerable, pero al trabajo asumible es a lo último que debemos tenerle miedo. Es solo poner horas, y es parte de nuestro trabajo como académicos. Además, si son propuestas acertadas, van a mejorar nuestro trabajo. Así que cada hora que pongamos en mejorar el artículo va en nuestro beneficio.

La mejor actitud aquí, por tanto, es aceptar todas y cada una de estas propuestas de cambio, incluso aquellas que impliquen mayor carga. Solo cabe llevarlas a cabo de forma enérgica y eficiente en la nueva versión del artículo y después documentar bien los cambios realizados en la respuesta para que nuestro esfuerzo adicional tenga las máximas posibilidades de verse recompensado.

Objeciones tipo 2: desacertadas con o sin nueva investigación

La clave para tratar con las objeciones del Tipo 2 estará en ellas mismas. Debemos explicar con firmeza y claridad, también con suma corrección y elegancia, porqué los cambios propuestos no corresponde aplicarlos. Lo importante, como decimos, es explicar con solvencia el motivo del rechazo, para lo cual invocaremos principios, autores o teorías que sustenten nuestro punto de vista. Es un riesgo, y puede suceder que los evaluadores no atiendan nuestros argumentos, pero es un riesgo que se debe correr. Nuestra experiencia es que la mayor parte de las veces los editores aceptan estas objeciones y dan la razón a los autores. Nada está garantizado, no obstante, y decir lo contrario sería absurdo.

Objeciones tipo 3: acertada con propuestas para extender la investigación

Por su parte, la clave para el éxito en el manejo de las objeciones Tipo 3 estará en nuestra habilidad para demostrar que las propuestas van más allá de la investigación que está siendo el objeto de evaluación. En principio, la supuesta incompletud de una investigación se podría aplicar a toda investigación, por tanto, en sí no es un argumento válido. Esa objeción se podría poner incluso a artículos que después han aportado un premio Nobel a sus autores.

Como hemos señalado, cambios en el objeto de estudio o en la metodología son casos claros donde podemos argumentar que supondrían una investigación diferente, y por tanto son objeciones que NO deben atenderse.

Extensiones de la investigación (p.e., añadir más casos) se pueden tratar de forma parecida. Se puede argumentar que los resultados que ya tenemos son suficientemente significativos y merecen ser conocidos por la comunidad, por sus aportaciones al campo investigado. Podemos recordar aquí la simple pero irrefutable idea de que ninguna investigación en sí misma es completa. No lo son ni siquiera las que después han significado un premio Nobel a sus autores.

En caso de propuestas de extensión que consideremos especialmente afortunadas, podemos señalar nuestra disposición para adoptarlas, pero para futuros trabajos, y sólo en caso de que se alineen en el futuro directamente con nuestros compromisos de investigación. Pero el punto importante es que podemos rechazarlas a efectos del trabajo que está siendo objeto de evaluación. De nuevo, la clave es trabajar la negativa con una buena y honesta explicación. Y claro, esto va a nuestro riesgo, no queremos engañar a nadie.

Objeciones abusivas

No hemos considerado una enésima categoría de objeción, a saber la que, para evitar rodeos innecesarios, podemos denominar la objeción estúpida. Por suerte, no son frecuentes, pero de la posibilidad de recibirlas no nos libra del todo ni en el caso de la mejor de las editoriales.

En realidad, podríamos decir que estas corresponde al Tipo 2, esto es, objeciones erróneas, pero tienen un grado especial de error a veces mezclado con agresividad. Esta clase de evaluaciones incluso puede incorporar ataques ad hominem (como es sabido, una clase de falacia).

Las evaluaciones basadas en los sistemas simple o doble ciego (los autores no conocen la identidad del evaluador) pueden tener la virtud de liberar a los evaluadores de posibles represalias, pero tienen el defecto de generar una sensación de impunidad en los malos evaluadores. Amparados en este anonimato tienen un comportamientos abusivo que sin duda evitarían si hubiera mayor transparencia.

Como sea, las objeciones estúpidas pueden deberse a lo siguiente:

• El evaluador carece de competencias reales en el tema, sin embargo tal vez por motivos de ego, aceptó llevar a cabo la evaluación. Ahora está obligado a decir algo, y es casi imposible que diga algo acertado.
• Hay un conflicto de intereses (p.e. el evaluador planea publicar algo en el mismo tema) y el evaluador rechaza nuestro trabajo independientemente de su calidad, motivo por el cual presenta objeciones sin reparar demasiado en su adecuación. Lo único que le importa es frenar la publicación, así que dirá cualquier cosa, por absurda que sea.
• Por último, el valuador simplemente no ha leído el artículo o no lo ha comprendido. Ya hemos dicho que estas no son frecuentes, pero este caso es muy real. Cualquier autor experimentado puede dar fe de haber recibido evaluaciones en las que era evidente que el evaluador o no entendió o nunca leyó el trabajo con atención. Como en el primer caso, es casi imposible que diga alguna cosa razonable.

Hay aún otro tipo de propuestas abusivas, a saber, las que incluyen lo que Elsevier denomina citation manipulation, esto consiste en un intento de que los autores incluyan citas que benefician a los evaluadores, aunque no tengan relación con el tema del artículo (ver captura siguiente).

Es fácil responder a esta clase de objeciones. Basta mantener la cabeza fría y hacer ver las contradicciones o la falta de sentido de las mismas a los editores. Incluso podemos denunciar al evaluador delante de la dirección de la revista y solicitar el cambio del mismo. Esto es especialmente fácil si la evaluación incluye ataques ad hominem, en cuyo caso el evaluador está incurriendo en un falta grave de ética.

La clave en cualquier caso, para que nuestro rechazo a estas objeciones sea atendido, está en mantener un registro de idioma aséptico, profesional y muy educado (volveremos sobre esto).

Una visión alternativa: el sistema CALM

Antes de seguir con nuestra revisión sobre cómo proceder a responder la evaluación de un artículo, hagamos una breve parada para presentar un sistema alternativo, y perfectamente compatible (según nos parece), debido a una de las editoras de Elsevier, Catherine Carnovale, denominado CALM, por unas siglas perfectamente orquestadas para que proporcionen la maravillosa palabra CALMA. Los componentes de CALM tomados literalmente del trabajo de Carnovale son los siguientes (solo presentamos el primer párrafo en cada caso):

C: Comprehend (keep your cool!)

When the decision letter arrives, read over the comments…Take time to understand the reviewers’ feedback and consider what they are asking you to do. You will be given a time frame for the revisions so don’t succumb to the pressure to reply immediately. (…)

A: Answer (amend or advocate!)

One of the functions of peer review is to encourage you – the author – to deliver stronger, more robust research. Think of the process as an opportunity to improve your manuscript, which will increase the likelihood that it will be useful to other researchers. (…)

L: List (make a list…check it twice!)

One of the best ways to ensure that you cover all the reviewers’ comments is to create a list. Reviewers shouldn’t have to re-read your whole manuscript again, combing it for your changes. (…)

M: Mindful (make it easy for the editor – they will appreciate it!)

Editors are busy people, so be mindful of this! Being organised when you resubmit your manuscript allows the revision process to run smoothly and efficiently (…)

Tras estos consejos agrupados en la siglas CALM, la autora presenta también unos consejos sobre la cover letter para hacer llegar la nueva versión (en este caso, los mostramos con una captura de pantalla:

¿Es arriesgado negarse a aplicar cambios?

Un consejo cínico podría consistir en aceptar todas las objeciones, sin entrar en la clase de discriminación que proponemos en nuestra tipología, porque es evidente que rechazar objeciones incorpora mayor riesgo.

Por ejemplo, a veces hay evaluadores que exigen la presentación de hipótesis en todos los casos, cosa completamente injustificada y que ningún tratado de metodología científica exige. Para no alejarnos del tema, diremos que la necesidad de las hipótesis está vinculada a un tipo de investigación determinado muy característico del ámbito de las ciencias experimentales. En cambio, para muchas investigaciones en Humanidades y Ciencias Sociales, es más adecuado usar preguntas de investigación [el autor interesado puede revisar la amplia bibliografía sobre métodos de investigación que encontrará aquí].

Entonces, la tentación puede ser del estilo: «bueno, va, si el evaluador X nos pide poner hipótesis, forzamos un poco las cosas y las ponemos».

Pero, entonces hemos de volver al punto de la responsabilidad y de la ética. Desde estos dos puntos de vista, no existe alternativa. Debemos asumir el riesgo que supone responder con honestidad a las evaluaciones que consideramos equivocadas o inoportunas. Esto incluye decirle al evaluador X, para seguir con el ejemplo que el uso de hipótesis en nuestra investigación está fuera de lugar, tal como señalan la mayoría de los tratados sobre el tema.

Puede estar en desacuerdo en la medida que pueda explicarlo

Nuestra experiencia es que, cuando se expresan los motivos de los rechazos de forma clara y con un buen apoyo conceptual y teórico, los editores entienden las razones de los autores y el rechazo a aplicar alguna recomendación no implica una penalización.

De hecho en las normativas sobre la cuestión, las mejores editoriales animan a los autores a expresar su rechazo a las objeciones si consideran que tienen razones sólidas para ello. Nos gusta mucho, a este respecto, la forma en que la editorial Elsevier los expresa: «You can disagree, as long as you explain» Más claro imposible (ver captura siguiente y enlaces al final).

El peer review es el menos malo de los sistemas

En todo caso, nadie ha dicho que el sistema de peer review sea infalible. Simplemente, es lo menos malo que tenemos, pero no es perfecto.

Por un lado, existen en la web listas de artículos rechazados de premios Nobel, y por otro, las retractaciones también son frecuentes. Esto demuestra que se rechazan artículos que deberían aceptarse y se aceptan artículos que deberían rechazarse. Pero los seres humanos estamos condenados a la búsqueda de la verdad por medios imperfectos.

Por lo tanto, que nadie tenga dudas de que seguir los consejos que se proponen aquí no garantizan alguna especie de inmunidad contra el fracaso. El riesgo de que el editor y/o los evaluadores no acepten nuestras objeciones siempre estará presente. Al final, la interrelación de dos o tres decisiones subjetivas pueden atenuar la subjetividad, pero no hay garantías de que la eliminen (tampoco la nuestra).

Calidad de las evaluaciones

Téngase en cuenta que la tipología que hemos discutido no es simétrica. No estamos diciendo que en una evaluación vamos a tener un 25% de objeciones de cada uno de los cuatro tipos examinados.

Hay que decir, por el contrario, que la mayor parte de las veces, la mayor parte de las objeciones en una revisión por pares son adecuadas y oportunas, así que la mayor parte del tiempo estaremos felizmente atareados respondiendo a objeciones del Tipo 1, esto es, de las que mejoran un artículo.

De modo que, si somos objetivos, hemos de considerar el proceso de evaluación como una oportunidad para nosotros. La mayor parte de las veces aplicar las observaciones hará que mejore nuestro trabajo, y esto no tiene precio.

En realidad, es como tener acceso a dos o más consultores expertos que opinan gratis sobre nuestro trabajo. Se trata de un auténtico lujo, como ya hemos señalado más arriba, que solo es posible gracias al sistema peer-review.

Capacidad persuasiva

Como sea, la cuestión es que nuestra Tabla OyR puede tener que dar respuestas a todo tipo de objeciones. Esto significa que algunas las habremos aceptado e incorporado a la nueva versión del artículo. Hasta aquí, perfecto.

Pero, otras en cambio, la habremos rechazado por alguno de los motivos indicados previamente. Es importante entonces que la fila correspondiente al rechazo contenga una respuesta bien desarrollada, tal como hemos recomendado también más arriba.

La cuestión es que una Tabla OyR donde hayamos sido capaces de analizar, una a una, las objeciones y así mismo de dar respuesta a cada una de ellas, bien con su aceptación e incorporación en el artículo, bien con su rechazo argumentado, es de un gran poder persuasivo, y la probabilidad de que la nueva versión del trabajo sea aceptada, será muy alta, porque el editor de la revista verá que nos hemos tomado muy en serio las evaluaciones que nos ha enviado.

Las otras opciones

Nos queda por considerar las otras dos posibilidades:

• Artículo rechazado
• Artículo aceptado con cambios menores

Artículo rechazado: convertirlo en una oportunidad

Empezaremos por el caso del artículo rechazado. En este caso, nuestro proceder puede estar guiado por estos principios:

• Lo último que tenemos que hacer es dejar el artículo en un cajón. Todo lo contrario, un motivo de rechazo debemos convertirlo en una oportunidad de mejora del trabajo. Si hemos procedido con honestidad, significa que hemos enviado un trabajo que para nosotros es valioso, por tanto, nunca debemos dejarlo, y menos por un primer rechazo.
• Si el rechazo ha sido tras la evaluación por pares, tendremos presumiblemente, una larga lista de observaciones. Lo lógico es tomar tal lista e intentar aplicar todos los cambios que a nuestro parecer sirvan para mejorar el artículo.
• El siguiente paso lógico, una vez tenemos una versión mejorada de nuestro trabajo es enviarlo a otra revista.

Muchos trabajos de calidad han sido rechazados en su primer intento, y no ha sido sino hasta el segundo e incluso tercer intento que el artículo ha acabado por ser publicado en una revista de calidad. El récord del que tenemos constancia es el de haber tenido éxito en ¡un sexto intento!

De hecho, la paradoja es que con cada rechazo, el artículo puede haber ido adquiriendo cada vez mayor calidad, si hemos sabido incorporar los cambios, con lo cual, en su segunda o tercera versión, puede tratarse de un trabajo de éxito.

Artículo aceptado con cambios menores

Este caso, que hemos dejado para el final porque es, con diferencia, el más fácil, solo cabe una decisión: aplicar de igual modo el sistema de la tabla de objeciones, trasladar todas y cada una de las propuestas de cambio menores a nuestro trabajo y documentar tales cambios en la mencionada tabla.

La responsabilidad de los autores

Ya hemos dicho algo sobre esto, pero queremos volver sobre la responsabilidad de los autores, ya que hemos basado una buena parte de nuestras propuestas en la capacidad de decisión de los mismos.

Es evidente que hay un espacio de subjetividad en elementos de decisión tales como considerar si una propuesta de cambio es acertada o desacertada, al igual que puede haber un margen de duda sobre si una propuesta implica «análisis adicionales» o es más bien una «extensión más allá del alcance actual» («to extend the work beyond its current scope»).

Este es el espacio al que nos referimos de responsabilidad de los autores, porque es su exclusiva responsabilidad tener la formación y los conocimientos suficientes para hacer sus propuestas y tomar sus decisiones. Sigue siendo su responsabilidad si, en caso de dudas razonables, tienen la capacidad y el acierto de pedir consejo a colegas de mayor experiencia.

En todo caso, es justo que reclamen el beneficio de la autoría si tienen éxito como tales, por tanto, también es justo esperar de ellos que tengan la capacidad para discernir sobre los elementos en juego, o sufrir las consecuencias de una escasa preparación.

Registro de lenguaje

Por último, corresponde insistir en algo que ya hemos adelantado en algún punto, a saber, el registro de lenguaje que hemos de mantener. Es importantísimo que nos mantengamos con un registro que cumpla con estos puntos:

• Redacción persuasiva y elegante.
• Lenguaje académico/técnico de alto nivel, preciso y con la máxima concisión posible.
• Tono educado, formal y respetuoso.

Hay algunos ejemplos, como los que propone un útil artículo del American Journal Experts, que ilustran este punto de una forma especialmente gráfica:

En lugar de responder: «¡No ha entendido nada de nuestro trabajo!»
Podemos responder: «Algunas afirmaciones eran más ambiguas de lo que pretendíamos, de modo que hemos hecho ajustes para que el texto sea más claro»

Véanse otros ejemplos adicionales que ilustran muy bien este registro de lenguaje en la siguiente captura:

Por otro lado, si las evaluaciones han estado especialmente acertadas, con lo cual nuestro trabajo ha mejorado, no está de más, ni mucho menos, expresar nuestro agradecimiento y nuestro reconocimiento a la calidad de las evaluaciones como parte de nuestra respuesta al editor.

La regla de oro

Aquí también tenemos la regla de oro. En este caso es: siga las indicaciones de la revista y de los editores para responder a las evaluaciones, si el caso; esto es, si efectivamente la revista ofrece, o los editores proporcionan, consejos o directrices al respecto. En este caso, todo lo visto en esta entrada le puede servir de complemento o refuerzo a lo que establezca la revista en cuestión.

El nuevo envío

El último paso, como es lógico, consistirá en enviar la nueva versión. Como normas generales, el nuevo envío lo hará el autor de correspondencia y se adjuntará o bien una lista de cambios o un documento (p.e. la tabla OyR) con el registro de respuestas a las observaciones de los evaluadores. Según nos indique la revista, la nueva versión del artículo puede ser un documento con control de cambios, la nueva versión limpia o ambas.

Es aconsejable que haya también una cover letter al editor explicando los principales cambios, y nunca está de más un primer párrafo de agradecimiento a la labor de los revisores, especialmente en los casos que estas revisiones han mejorado el trabajo (afortunadamente, la mayor parte de las veces).

En todo caso, como siempre, hay que observar con cuidado lo que nos diga la revista o el editor con el que estamos en contacto a la hora de enviar la nueva versión.

Conclusiones

Hemos revisado los principales problemas con los que podemos topar en un proceso de evaluación de artículos científicos, y hemos visto así mismo, un procedimiento posible para analizar y tratar las objeciones, basado en el uso de tablas.

Tanto los editores como los evaluadores verán que nos hemos tomado muy en serio el proceso, y verán también que tenemos capacidad para responder a todo de forma a la vez sólida y transparente.

Esto, como decimos, es de un gran poder persuasivo porque todos admiramos el trabajo bien hecho, y más aún si exhibe a la vez una enorme transparencia como sucede si hemos sido capaces de tomar las objeciones y tratarlas una a una de forma tan clara como solamente un formato de tabla puede permitir.

Un clásico de las evaluaciones, hasta el punto que el COPE le dedica un apartado en sus guías, es la petición de ampliar una investigación llevándola más allá de su alcance. El propio COPE señala de forma lúcida que ninguna investigación en sí misma es completa, por tanto, no es un argumento en sí para solicitar extensiones de la investigación que está valorando.

Enlazando con lo anterior, ya hemos dicho que el proceso de evaluación tipo peer review no es perfecto. A veces, buenos trabajos son rechazados, ya sea en fase editorial o del peer review. Y esto mismo los reconocen las propias revistas. Como sea el principal error por nuestra parte puede ser aceptar como definitivo ese rechazo y no considerarlo una oportunidad de mejora.

Si es un buen trabajo, acabará siendo publicado. Es difícil que no acabe encontrando la plataforma editorial adecuada, y además, de calidad, porque iremos mejorando el artículo con cada evaluación. Lo que nadie dice es que esto vaya a ser sin esfuerzo.

Para saber más

• 14 Quick tips for responding to reviewer comments
• 3 top tips for responding to reviewer comments on your manuscript
• Citation manipulation:endemic or exceptional?
• Cómo redactar un informe de peer review: lo que las editoriales esperan y los autores deben saber
• COPE ethical guidelines for peer reviewers (pdf)
• Cualidades de un trabajo académico ·1a Parte: Estructura, Fundamentación, Consistencia y Conectividad
• Cualidades de un trabajo académico · 2a Parte: Transparencia, Trazabilidad y Persuabilidad
• Hate the peer-review process? Einstein did too
• How to respond to reviewer comments – the CALM way
• Peer review: how to respond to reviewers
• Peer review, revistas científicas y ciencia evaluada: introducción para jóvenes investigadores
• Publicación académica: revisión de factores para el éxito
• Responding to Peer Reviewers: You Can’t Always Say What You’d Like [Free Guide]
• Ten simple rules for writing a response to reviewers
• The Final Hurdle: Persuasive Responses to Peer Review
• When reviewing goes wrong: the ugly side of peer review
• Writing effective response letters to reviewers: Tips and a template

PS
Agradezco al profesor Rafael Repiso su ayuda para mejorar el cuadrante que encabeza este artículo.