Principios y directrices para la evaluación de la investigación ANECA 2022

por
Cubierta del informe sobre evaluación de la investigación
Cubierta del documento ANECA 2021. Clic para descargar

La evaluación de la investigación está en plena revisión, cosa que en sí misma es intrínsecamente positiva. Por un lado, la evaluación es una actividad necesaria, pero por otro lado puede tener efectos indeseados, por lo que hay que tomársela siempre muy en serio.

En esta entrada, se presentan los nuevos principios y directrices que ha dado a conocer ANECA a finales del pasado año y que se supone marcarán los procesos de evaluación de la investigación a partir del 2022.

Principios ANECA de evaluación de la investigación

El documento tiene dos apartados. Uno dedicado a los principios y otro a las directrices. Los principios, dada su brevedad, los presento en forma íntegra y con unos comentarios finales (los destacados en lo que sigue son míos):

  • P1. Promover la calidad en la investigación, antes que la cantidad.
  • P2. Dotar de estabilidad a los criterios, sin perder la necesaria adaptación a la evolución del contexto científico.
  • P3. Limitar el perjuicio que los necesarios cambios que habrá que introducir para responder a la evolución del contexto pueden causar en trayectorias académicas largas.
  • P4. Garantizar la transparencia y facilitar la autoevaluación.
  • P5. Incorporar la integridad académica en los procesos de evaluación.
  • P6. Incorporar medidas que ayuden a avanzar en la igualdad efectiva y en la inclusión social.
  • P7. Complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos.
  • P8. Incorporar mecanismos para identificar y potenciar la multidisciplinariedad y la ciencia colaborativa y en red.
  • P9. Incorporar elementos de ciencia abierta dentro de la estrategia europea y española.

Observaciones

Algunos principios que en mi modesta opinión merecen ser destacados:

  • El punto 1, al declarar la preferencia por la calidad antes que la cantidad. Parece totalmente lógico, pero este punto creo que no es una gran novedad. Al menos, en cuanto al reconocimiento de los sexenios, la cantidad nunca tuvo un rol, ya que solo se pueden presentar cinco contribuciones en seis años, e incluso se admiten menos si el investigador lo justifica.
  • Los puntos 2 y 3 porque forman una buena pareja ya que establecen, por un lado la necesidad de dar estabilidad a los criterios y por otro de limitar el perjuicio que los cambios puedan causar.
  • Los puntos 4 y 7 son otra buena pareja. El 4 porque reconoce la importancia de la autoevaluación. El 7 porque se refiere a complementar los índices de impacto con otros indicadores, incluyendo cualitativos.

Ahora bien, si hablamos de principios, se echa en falta uno muy importante, y que podría decir algo como lo que sigue:

  • Evitar que alguna disposición dañe la ciencia de calidad o perjudique a investigadores que hacen bien su trabajo

Más adelante intento justificar la necesidad de este principio.

Directrices ANECA de evaluación de la investigación

El documento de ANECA incluye un total de 20 directrices y, como es lógico, recomendamos la lectura atenta de todas y cada una de ellos a los interesados. Como en el caso anterior, los destacados de lo que sigue cuando haya citas literales son míos. Pequeñas acotaciones en algunas directrices y comentarios generales, después en varios apartados.

  • La directriz 1 establece que se deben detallar bien las condiciones para obtener méritos y que se tendrán en cuenta los de mayor calidad.
  • En la 2 se dice que se tendrán en cuenta «la regularidad y continuidad en la actividad de investigación«. A continuación se añade que se «analizarán en detalle las situaciones de producción masiva de publicaciones en momentos muy concentrados». Luego señala: «… y en revistas con comportamientos editoriales no estándares como elevado índice de autocitas, elevado número de artículos anuales u otros que se puedan determinar».
  • La directriz 3 desalienta las aportaciones reiterativas y sin innovaciones relevantes.
  • Por su parte, la 4, establece como norma general la no aceptación de aportaciones a congresos, pero abre la puerta a aceptar algunos.
  • Las directrices 5 a 8 están dedicadas a cuestiones de detalle en torno a las cátedras, el número de autores y el orden de firma de los trabajos, cuestiones sobre los comités y otros tecnicismos que finalmente refuerzan la idea de vincular el nivel de una investigación al factor de impacto de la revista. Por otro lado, pone de nuevo bajo sospecha trabajos en función de características de las revistas, como las que tienen un alto número de publicaciones.
  • En la directriz 9 se establece como regla general que «el nivel adjudicado a un artículo podrá seguir siendo el derivado del factor de impacto de la revista«- como acotación: ¿alguna vez dejó de serlo?-. Se añaden algunas correcciones a esto:
    • Se menciona la posibilidad de establecer criterios adicionales de calidad, cosa que en principio es interesante, en particular si implica considerar la investigación en sí misma, más allá de la revista. Pero deja su establecimiento a cada comisión.
    • A continuación, la directriz vuelve a referirse a las revistas como elemento decisivo, en este caso de forma negativa: «Los trabajos publicados en revistas con un comportamiento editorial no estándar que no permitan garantizar a priori la calidad del trabajo publicado (elevado índice de autocitas, elevado número de artículos anuales u otros) serán objeto de especial análisis que podrán llevar a una rebaja de su consideración o la no aceptación de las mismas».
    • Otro de los apartados notables de esta directriz establece que «las revistas incluidas en las bases de datos de indexación usadas en cada caso, recibirán un tratamiento similar con independencia del idioma de publicación«.
    • En paralelo, otro punto muy interesante en la misma dirección señala lo siguiente: «Además las comisiones y comités determinarán el tratamiento positivo que proceda para revistas incluidas en estas bases de datos indexadas y publicadas en las lenguas oficiales en España«.
  • Las directrices 10 a 15 se utilizan para declarar la posibilidad de una variedad de diferentes indicadores de impacto de las revistas. El aspecto positivo es que amplia la variedad de fuentes para tomar estos indicadores, al menos en comparación con los usos anteriores, que estaban obsesivamente centrados en una sola de ellas. Además, se favorece la ciencia abierta y el uso de repositorios académicos abiertos. Igualmente, se detallan aspectos sobre la forma de tener en cuenta la dirección de tesis doctorales.
  • Las directrices 16 y 17 están dedicadas a la valoración de las estancias internacionales, y la colaboración con centros de investigación o investigadores extranjeros.
  • La directriz 18 establece que no se tomará en cuenta la actuación como editor invitado en revistas «con publicación masiva de números especiales ni en revistas con comportamientos editoriales no estándares».
  • La directriz 19 establece que «se valorarán las publicaciones de muy elevada calidad como un mérito destacable», y a continuación señala que «cada comisión y comité deberá establecer claramente cómo se consiguen méritos adicionales para orientar sobre lo que se entiende por publicaciones de alta calidad y recompensar el esfuerzo que requieren». Hasta ver qué clase de criterios establecen las comisiones es difícil saber qué significado tiene esta directriz. Más adelante, se indica: «se considerará un mérito específico (…) la publicación en revistas de muy alto impacto o prestigio«.
  • Por último, la directriz 20 establece que se podrá «valorar, dependiendo del campo, la apertura de datos vinculados a una publicación dentro de la revista».

Primeras observaciones a las directrices

  • Dos primeros elementos críticos que aparecen repetidamente: la mención a los comportamientos editoriales no estándares basados en el número de publicaciones y las autocitas, y la coletilla «… u otros que se puedan determinar». Estas directrices establecen una relación entre elevado número de publicaciones o de autocitas y falta de garantías de calidad. El problema, hasta donde yo conozco, es que no existe evidencia sobre esta relación.
  • Por lo que hace a la directriz 4, que podemos llamar «anti congresos». Como admite que en algunos casos las comunicaciones a congresos se pueden presentar, tal vez sería más operativo dar algún algún criterio, ya que es una directriz. Por ejemplo, aceptar contribuciones a congresos con comités científicos y que seleccionan las contribuciones mediante evaluación por pares, para poner un ejemplo.
  • Un elemento positivo: se incorporan nuevos indicadores y se acepta que en el caso de disponer de varios, se pueda utilizar el más favorable.

En lo que sigue, amplio los comentarios sobre los comportamientos editoriales «no estándares».

Comportamientos editoriales no estándares

Parece que, al menos uno de los objetivos de este documento es, como mínimo, complicar los reconocimientos (sexenios o acreditaciones) a investigadores que tengan contribuciones en megajournals. La razón es que uno de los dos comportamientos, el elevado índice de auto citas puede afectar a cualquier tipo de publicación, pero el de elevado número de publicaciones solo afecta a los megajournals.

Veamos este último aspecto. Por un lado, creo que nadie sabe cuál es el número a partir del cual ya no es necesario publicar más artículos para comunicar todos los avances del conocimiento. Y nadie lo sabe por una buena razón: ese número no existe.

Por otro, si lo que se busca es «que no sea fácil publicar», en primer lugar, publicar en revistas que aplican peer review nunca es fácil, sean revistas tipo numerus clausus o sean megajournals. Cuando hay peer review, esto es lo que marca la dificultad, y no el número de artículos.

De todos modos, supongo que habrá diversidad y en unos megajournals publicar será más o menos difícil que en otros. Pero esto pasa también con las revistas que van por numerus clausus. Creo que todos los autores con suficiente experiencia lo hemos experimentado.

¿Un problema para la ciencia española?

Una muestra del problema que puede representar para la ciencia española arrojar la sombra de la sospecha sobre revistas con elevado número de publicaciones o de autocitas, lo podemos ver en un estudio, que por cierto ha sido criticado por algunos de nuestros principales expertos.

En este estudio, aparece una larga lista de publicaciones científicas de todos los ámbitos que o bien publican un alto número de artículos al año, o bien tienen un elevado índice de autocitas. El punto interesante es que en esta lista abundan las revistas de todo el mundo que gozan de reconocimiento en sus respectivas áreas.

Inevitablemente, esto genera dudas de este estilo:

  • Primero: ¿para elegir dónde enviar un manuscrito ya no sirve el prestigio o el reconocimiento de una revista en su ámbito?; ¿ya no importa si es una revista aceptada en repertorios de prestigio o en bases de datos como Scopus o WoS?
  • Segundo: ¿hemos de tomar esa lista de revistas científicas como revistas donde los autores que trabajamos en universidades españolas tenemos prohibido publicar so pena de, después, no ver reconocido nuestro trabajo?; ¿estas revistas, aunque sean de prestigio en su área, deben quedar desiertas de aportaciones de autores españoles? ; ¿dónde queda nuestra libertad como autores para elegir a qué revista de nuestra área mandamos nuestro trabajo?
  • Tercero: ¿cómo sabemos si una revista que ahora no cae bajo la categoría de «comportamientos editoriales no estándares» no lo hará más adelante y en el momento de ser evaluado? o, ¿una que ahora ha caído en esa categoría en el pasado y por tanto parece que está marcada y no le debo mandar trabajos, ahora ya no lo está, y voy a perder una oportunidad al no mandarlo? ¿En qué momento me he perdido?

El falso dilema numerus clausus vs umbral de calidad

¿Cuales son mejores para la ciencia: las revistas que publican con base a un numerus clausus, esto es un número máximo de artículos por año, o las que publican tantos artículos como superen un umbral de calidad? Respuesta: si en ambos casos se aplican procesos de peer review, entonces el dilema es un pseudo dilema.

Una limitación por cuestiones de recursos materiales es algo demasiado pedestre para que pueda corresponder a un número mágico según el cual, a partir del artículo enésimo, todos los demás sobran a efectos de comunicar la ciencia. Esto no tiene sentido. Y menos en tiempos de ciencia abierta, donde se reclama que todo el conocimiento posible producido por la humanidad sea puesto al alcance de toda la humanidad.

Por este motivo:

  • si una revista se encuentra en condiciones de publicar cada uno de los artículos que superan un umbral de calidad, y
  • si este umbral consiste en un proceso exigente de evaluación de tipo peer review, tan bien documentado o más como las revistas con numerus clausus,
  • parece que esta revista sirve mejor a la ciencia, y de paso a la sociedad, que las revistas con numerus clausus, y esto se mire como se mire.

Por si acaso, déjenme decir que todas las revistas académicas que se rigen por el peer review y con una política editorial transparente cumplen una misión importantísima, y por tanto, ambos tipos de revistas son necesarias. Todas las revistas académicas de calidad son máquinas de hacer el bien. No se me ocurre otra forma de calificarlas.

Autocitas

Vamos con las autocitas. Se entiende que un número excesivo de autocitas (establecido con base al promedio de su área) no es un buen indicador para una revista. Así lo consideran las bases de datos académicas, que evalúan con este (y otros indicadores) a las revistas que forman parte de sus índices. La razón es que sin esa presión, algunos editores encuentran formas de aumentar el impacto mediante autocitas. Pero es evidente que esta métrica a nivel de revista no puede descalificar a cada trabajo individual.

Por otro lado, se supone que los autores hacen una elección racional cuando seleccionan una revista para enviar sus contribuciones. Esta elección se basa en el perfil temático y el reconocimiento de la revista en su área, así como en consideraciones de ciencia abierta. No parece lógico penalizar a un autor que ha hecho una elección racional, solo porque cálculos globales muestran que a veces, esa revista puede tener un índice elevado de autocitas.

La regla de oro

ANECA debe velar para que sus normativas sirvan para acreditar méritos reales, ya que hay dinero público invertido. Esto debe ser reconocido. El problema es cuando, para evitar reconocimientos inmerecidos, las normas perjudican también a buenos investigadores. Por eso, la regla de oro o el principio cero de cualquier esquema de evaluación debería ser este:

Ningún principio o directriz debe dañar la buena ciencia o perjudicar trayectorias de investigadores que hacen bien su trabajo

Sin embargo, este posible efecto perverso puede darse si damos por bueno el argumento, no demostrado hasta donde yo conozco, de que las revistas que publican «un elevado número de artículos anuales» o las que tienen un elevado número de autocitas, y solo por por eso, no garantizan la calidad.

Las revistas de calidad son importantes

Déjenme decir que la necesaria discusión sobre estos temas y las recomendaciones de DORA y Leiden no nos deberían confundir en un punto. No hay razón para que la calidad y la medida de la influencia de cada revista en su ámbito se dejen fuera de las evaluaciones. Eso sería como tirar al niño junto con el agua sucia.

Por un lado, no es realista esperar que los evaluadores no lo tomen en cuenta. Ni siquiera hace falta que la normativa lo señale. En los casos de revistas de prestigio o de alto impacto, como los evaluadores conocen esas revistas, cuando las vean en los trabajos que han de evaluar, esto les va a influir. Esperar lo contrario, es irreal.

Por otro lado, creo que, cuando disfruten de esta posibilidad, a los autores se les debe permitir alegar como indicio razonable de la calidad de su trabajo el haber publicado en revistas de reconocido prestigio o de influencia en su área. No es una cuestión determinante, por eso lo llamamos indicio, pero tampoco es realista negar su significación.

La cuestión principal es que la comunicación académica es imprescindible para que la ciencia siga progresando. Y para ello, son razonables las medidas que ayuden a que el sistema de la ciencia se dote de revistas que tengan la mayor calidad posible.

Conclusiones

  • Los principios y directrices reseñados presentan aspectos positivos, como los que amplían la variedad en el tipo y en la fuente de los indicadores, así como la inclusión de indicadores cualitativos.
  • También son aspectos positivos los puntos que imponen transparencia y buscan limitar los perjuicios que los cambios puedan causar en trayectorias académicas largas, puesto que se han venido rigiendo por principios diferentes, pero que en su momento eran los que obligaban.
  • Son positivos igualmente los puntos que abren la puerta a valorar la contribución en sí misma como algo separado y aparte de la revista, aunque queda por ver el alcance de esto en las diferentes comisiones. Lo peor sería que se volvieran a crear agravios comparativos como se han visto en el pasado, entre áreas del mismo ámbito (ciencias sociales, p.e.), con unas áreas con exigencias mucho más altas que otras. Es decir, parecía que era la personalidad de los miembros de las comisiones las que marcaba los criterios, en lugar de bases lógicas y razonamientos generales. Esto nunca debería volver a pasar, y ANECA debería velar por ello.
  • Los puntos positivos que hemos visto, van acompañados de cuestiones que deben preocuparnos porque dejan la puerta abierta a perjudicar a investigadores que hacen bien su trabajo. La razón es la consideración negativa arrojada sobre revistas que publican un alto número de artículos o tienen un elevado porcentaje de autocitas. Es cierto que las directrices no establecen nada de forma taxativa, pero la sombra de la sospecha que, negro sobre blanco, establece el informe, puede tener efectos devastadores en todas o en algunas comisiones, según como las interpreten. No podemos excluir la posibilidad de que estas ideas que establece el documento sean ser tomadas de forma literal por algunas comisiones.
  • Otro punto que añade preocupación: en las directrices, además de los comportamientos editoriales «no estándares» basados en un elevado índice de autocitas, o un elevado número de artículos anuales, se añade: «u otros que se puedan determinar«.
  • Por último, déjenme volver sobre el estudio de ANECA que se presenta en la misma página web donde se ha dado a conocer el informe que nos ocupa. ¿Qué se supone que debemos hacer? ¿Hemos de tomar esa enorme lista de revistas científicas como lugares donde los autores con afiliación en centros españoles no podemos publicar?; ¿estas revistas, aunque sean de prestigio, deben quedar desiertas de aportaciones de autores de nuestro país? ¿Me he perdido en algo?

Anexos

1. Sobre ANECA y agencias de evaluación

Entiendo que las agencias de evaluación son necesarias porque la actividad científica está principalmente financiada con dinero público. Sus decisiones tienen relación con las trayectorias académicas y, al final, con el bolsillo de los investigadores. Hagan lo que hagan van a tener críticas. Pero reconocer su labor, no niega que puedan equivocarse. Tenemos la obligación de escrutar y criticar las propuestas y los responsables de las agencias tienen la obligación de escuchar las críticas. No hay otra vía.

2. El impacto social

En algunos países de nuestro entorno, como es notablemente el caso del Reino Unido con su sistema REF, parece que la evaluación de la actividad científica ha girado hacia el análisis del impacto social de la investigación y ha dejado casi de lado el impacto académico.

Es una aproximación discutida y discutible por varias razones, pero sobre todo porque causa perjuicios a la ciencia básica y a los programas de investigación a largo plazo, además de que es notablemente difícil determinar el impacto social. Pero dado que atender al impacto social es razonable, al final, vemos que los problemas son siempre alguna actualización desafortunada del síndrome de tirar al niño junto con el agua sucia.

Enlaces ANECA relacionados

Entradas relacionadas