Evaluación de la ciencia: tan necesaria como problemática. Edición 2020: síntesis y refutaciones

Edición Septiembre 2020

Síntesis

Introducción

No se sabe de ninguna corriente teórica solvente que niegue a estas alturas la necesidad de que la ciencia, para merecer este nombre, debe ser una actividad evaluada.

Otra cosa son los discursos en los foros de debate (congresos, listas de correo, artículos de opinión en la prensa, etc.) cuando la aplicación de tal evaluación afecta a las carreras académicas y, por tanto, al futuro (y al bolsillo) de los investigadores. En estos casos está claro que es mucho pedir esperar siempre reacciones intelectuales frías y equilibradas.

Refutación de prosiciones

Sin embargo, incluso entendiendo este condicionamiento inevitable basado en los propios intereses legítimos, hay una clase de proposiciones sobre las evaluaciones que, por su mera formulación deberían considerarse nulas en el mismo momento en que son enunciadas. Se trata de las dos siguientes clases de proposiciones, que aquí expondré en toda su crudeza, pero que lógicamente en sus versiones originales suelen aparecer de forma mucho más indirecta.

Las proposiciones que pretendemos refutar

Proposición 1. La mejor alternativa a los sistemas actuales de evaluación de la ciencia consiste en eliminar cualquier forma de evaluación de la ciencia.

Proposición 2. Evaluar la productividad científica de un investigador utilizando métricas objetivas sobre publicaciones está completamente fuera de lugar.

Si ustedes buscan en revistas académicas, dudo que encuentren estos argumentos, pero si revisan las hemerotecas de los medios y no digamos los foros y listas de discusión, redes sociales, etc., formados por académicos y científicos, verán que son relativamente frecuentes.

Como sabemos, medios de comunicación, redes sociales y foros de internet acaban teniendo influencia social de alcance difícil de discernir, lo que incluye la posibilidad de que esta influencia sea importante. Por eso considero necesario examinar la idea que he expresado ante según la cual la alternativa a la evaluación de la actividad científica es que no haya evaluación, y la idea de que usar métricas de publicación como parte de las evaluaciones es irracional.

La proposición que queremos defender

Proposición: la ciencia y sus actividades relacionadas requieren evaluaciones externas, y el análisis cualitativo y cuantitativo de las publicaciones científicas debe ser una parte importante, aunque no sea la única, de ellas.

A continuación, daré tres argumentos alrededor de la proposición anterior:

• Argumento ontológico. La ciencia debe su valor y sus logros al hecho de ser una actividad evaluada de forma externa. Si eliminamos la evaluación, eliminamos la naturaleza de la ciencia. Sin evaluación externa, creamos otra cosa, por ejemplo, literatura, forma de conocimiento también y muy valiosas, pero no es ciencia. El nacimiento de la ciencia moderna se basa en aceptar que solo es ciencia lo que supera alguna forma de evaluación externa, ya sea un experimento o el escrutinio incisivo de personas con competencias similares. Por extensión, las carreras académicas necesitan alguna forma de evaluación externa, y no puede ser considerada suficiente la autoevaluación, por mucho que también pueda ser tenida en cuenta. Por consiguiente: podemos discutir las formas de evaluación de la ciencia, pero no su mera existencia si lo que queremos es seguir teniendo… ciencia y carreras académicas cuyo progreso esté basado en lo posible en méritos objetivos.
• Argumento ético. La mayor parte de la actividad científica en la mayor parte de países del mundo, y desde luego en nuestro país y los de la Unión Europea, se financia con fondos públicos. Incluso las universidades privadas se financian al menos en parte con fondos públicos. Es antiético pretender que la misma sociedad que destina fondos a actividades científicas no puede evaluar los proyectos que financia y los científicos a los que abona sus nóminas. Por consiguiente: si nuestro trabajo se beneficia de la financiación pública, podemos discutir la forma de evaluación de los proyectos y de las carreras académicas, pero no tenemos derecho a librarnos del rendimiento de cuentas.
• Argumento de eficiencia. El producto principal y universal de la ciencia son las publicaciones científicas. Algunas ramas de la ciencia, además producen patentes y muchas de ellas, toda clase de gadgets y productos aplicados. Pero el producto universal que produce toda disciplina científica y, en algunos casos, además, el único tangible que producen muchas disciplinas científicas, son las publicaciones académicas. Aún más, la ciencia tiene naturaleza acumulativa, cosa que evita que cada generación se vea condenada a tener que redescubrir la rueda, las vacunas o los derechos humanos. Para que la ciencia tenga este carácter acumulativo, necesita comunicarse; y publicar la ciencia es la mejor forma de comunicación porque puede llegar a todo el planeta. Presentar las formas de evaluación de la ciencia basadas en publicaciones científicas como si fueran irracionales, es en sí mismo, irracional. Si alguna vez se eliminara esta forma de evaluación, no tardaría en ser redescubierta como una de las mejores ideas en ciencia. Sin ella, nos quedaríamos sin un importante componente objetivo, y las evaluaciones estarían basadas ¿en qué?, ¿en lo muy amigo que se es del director del departamento? Por consiguiente: podemos discutir las formas de evaluación de las publicaciones, los modos cuantitativos o cualitativos de la misma que deben predominar, así como el peso que la publicación científica deben tener en grueso de las carreras de los académicos, o de lo que sea que estemos evaluando, pero no está justificado considerar irracional el uso de la publicación científica como un elemento de peso de la evaluación de carreras académicas.

El fundamento: buscar la verdad con medios imperfectos

Una vez nos hemos desecho de argumentos que se autoaniquilan, creo que podemos considerar otras formas de análisis crítico sobre la evaluación actual de la ciencia.

Lo cierto es que, incluso entre aquellos que aceptan los fundamentos de la evaluación, surgen voces muy críticas ante algunos excesos, así como ante efectos colaterales de algunas formas de evaluación, dado que causan más daños que beneficio a la ciencia en general.

El fundamento, digamos filosófico, de la ciencia evaluada es el siguiente: la primera virtud de un sistema de pensamiento es la búsqueda de la verdad (John Rawls), pero el ser humano no dispone de ningún sistema fiable que le permita conocer con absoluta certeza el haber alcanzado la verdad absoluta respecto a algo, al menos no si ese algo es más complejo que una simple piedra al sol.

Triangulación

A partir de esta simple constatación, la ciencia, al menos desde los últimos dos siglos, exige algo que podemos llamar triangulación para poder estar razonablemente seguros de lo que sus cultivadores, los científicos, intentan ofrecernos.

Esta triangulación es omnipresente: la encontramos en los protocolos de los experimentos, de los análisis y de la obtención de datos empíricos. Pero, y aquí está la clave del tema que nos ocupa en esta ocasión, la vemos también cuando una publicación científica o una autoridad académica debe decidir si un artículo es de calidad o si una trayectoria académica o científica merece ser reconocida en forma de un nuevo contrato o de una mejora del mismo.

La triangulación se manifiesta en cada caso de una forma distinta: para decidir sobre la calidad de un artículo, el editor pedirá al menos a dos expertos que opinen sobre el mismo; para que una agencia reconozca una carrera académica, se necesitará un tribunal de expertos que, además, pedirá datos objetivos el investigador que espera ser evaluado, etc.

Una aclaración antes de proseguir: necesariamente tengo como background principal el sistema de evaluación que se sigue en España. Entiendo que no difiere demasiado, en cuanto a su fundamento y filosofía, de los sistemas de evaluación de nuestro entorno, si entendemos por tal el sistema científico-académico europeo, e incluso podríamos decir el sistema atlántico (Europa + Norteamérica). Además, hay cosas en el ámbito de la evaluación de la ciencia, como el sistema peer-review, que es prácticamente universal. En cambio, difiere y bastante, en la promoción de carreras académicas, como ya señalaré.

La situación actual

Empecemos con dos observaciones.

Primera: si tuviéramos que buscar una forma abstracta de definir cómo funcionan los sistemas de evaluación de la ciencia actuales podríamos decir que consisten en dos tipos de evaluaciones

• cuantitativas, basadas principalmente en métricas de publicaciones,
• cualitativas basadas en evaluaciones llevadas a cabo por pares o expertos.

En algunas evaluaciones solo interviene las cualitativas, mientras que otras consisten en una combinación de las dos clases. En este último caso, puede suceder que el primer componente, las métricas, tenga un gran peso a expensas del segundo, o al revés.

Segunda: aquello que se somete a evaluación tiene un amplio espectro. Con razón suele decirse que la profesión de investigador es una de las más evaluadas del mundo. Va desde la necesaria para conseguir un título de doctor hasta la evaluación de la trayectoria de un investigador para conseguir un contrato o una mejora del mismo. En medio de todo esto tenemos una auténtica legión de evaluaciones, tanto individuales: solicitudes de beca, de artículos en revistas científicas, de proyectos de investigación, de tramos de investigación, de calidad en la docencia, como colectivas: de acreditación de títulos de grado o de máster, de grupos de investigación, de departamentos, de facultades y ¡de universidades enteras!

Revisemos dos de las que causan más polémicas: la evaluación de artículos científicos y las evaluaciones de carreras académicas. Son dos cosas muy distintas: una es un pedazo de papel (acéptenlo como metáfora) y la otra puede ser una vida entera de dedicación. Sin embargo, están muy relacionadas.

Artículos científicos y carreras académicas

La forma más extendida actualmente de evaluar artículos científicos es mediante el conocido sistema denominado peer-review. En este punto, solamente señalaré que es un caso puro de evaluación por expertos con todos los riesgos de subjetividad que pueden adivinar y que se supone que se combaten mediante intersubjetividad (al menos dos expertos, la posibilidad del autor de responder, más la supervisión de los editores de la revista).

En el otro extremo, tenemos la evaluación de trayectorias investigadoras, es decir, la evaluación de personas de carne y hueso. De éstas, a su vez (al menos en España) tenemos dos: la llamada acreditación, para poder conseguir un contrato en una universidad, y los tramos de investigación, para ver reconocidos un número de años como investigadores de (razonable) éxito.

En estas últimas, donde se evalúa a seres de carne y hueso (y no solamente un trozo de papel) entran en juego tanto los componentes de tipo 1, las cuantitativas basadas en métricas de publicación, como los de tipo 2, las cualitativas basadas en la consideración del conjunto de la carrera, valorada por expertos.

Problemas y efectos colaterales

La evaluación de artículos científicos

El sistema actual de evaluación de artículos científicos, denominado como saben peer-review, es uno de los más aclamados y más criticados a la vez. Por un lado, hay un consenso casi total entre editores y agencias de evaluación que solamente son aceptables como aportaciones científicas los artículos publicados en revistas que se someten al sistema peer-review. Además, las bases de datos más importantes, como Web of Science y Scopus es la única clase de revistas que aceptan en sus repertorios.

Sin embargo, no pasa día sin que algún medio de comunicación e incluso alguna revista de peer-review ¡critiquen el peer-review! Ante esto, siempre pienso en el símil de la democracia como sistema de gobierno. Afortunadamente, en esta época casi no está en discusión la legitimidad de la democracia, pero las cosas eran muy diferentes en la primera mitad del siglo XX.

Poco después de la segunda guerra mundial Winston Churchill, en uno de sus discursos en el Parlamento, lanzó una de sus más famosas frases: “la democracia es el peor sistema de gobierno diseñado por el hombre, con excepción de todos los demás”.

De modo que ante la persistencia de las críticas, muchas de ellas bien justificadas por un lado, pero la evidencia multiplicada de su utilidad, por el otro, lo único que se me ocurre es: “el peer-review es el peor de los sistemas de evaluación, salvo todos los demás”.

Lo que evidencia que el peer-review tiene difícil sustitución es que sus críticos, a día de hoy, no proponen alternativas. Son muy conocidos sus defectos, de los que recordaremos algunos brevemente, pero no se sabe de ninguna propuesta viable alternativa.

Hemos dicho que hablaríamos de sus defectos, en mi propia lista de problemas (que tampoco es muy original) yo señalaría los siguientes:

• en su forma mayoritaria (doble o simple ciego) causa enormes retrasos en las publicaciones;
• los evaluadores en ocasiones son arbitrarios, precisamente amparados en el anonimato que les protege;
• no evita fraudes, ya que son habituales las retractaciones de artículos debidos a fraudes (plagios, malas praxis, etc.) descubiertos a posteri, es decir, no detectados en la evaluación;
• rechaza artículos de calidad, por ejemplo, es sabido que artículos que después dieron lugar a recibir premios Nobel por parte de sus autores, fueron inicialmente rechazados en algunas revistas.

Dejamos para más adelante algunas soluciones a los dos primeros problemas que pueden venir de la mano del llamado open review.

Sobre los dos últimos, es la simple constatación de que no un sistema perfecto, lo cual no deja de ser una obviedad. La forma de combatir estos dos problemas podría estar relacionada con una ampliación de la publicidad de todo el proceso, que también está relacionado con el open review, y por supuesto, demuestra la necesidad de una continua mejora en los procesos y en la formación de los evaluadores.

La evaluación de investigadores

Seguramente, en relación a la evaluación de investigadores, es decir, lo que hemos identificado como evaluación de carreras académicas, lo más significativo es su reiteración. Ya hemos avanzado que los investigadores, al menos si pensamos en personal universitario, es uno de los colectivos más evaluados del planeta.

Esto ya, de por sí, es un problema. Algunos analistas han calculado en varias semanas al año de tiempo completo el que cada investigador universitario tiene que dedicar a explicar lo que ya ha hecho con motivo de algunas acreditaciones, dándose la circunstancia de que, cuanto más trabaja y más éxito tiene, mucho peor, porque tiene mucho más trabajo a la hora de hacer las memorias correspondientes.

Por último, para mencionar aún otro problema, en nuestro país se hace una interpretación del progreso en la carrera académica que, a algunos, nos parece aberrante. ¿A qué me refiero? Pues al siguiente y doloroso hecho: una vez que un académico ha acumulado suficientes méritos demostrados por evaluaciones externas e independientes, tiene derecho a intentar consolidar su plaza, tal vez después de más de 10 años de trabajo, todos con buenas evaluaciones y dando lo mejor de sí en su universidad, pero entonces sucede algo asombroso.

La universidad en cuestión no puede revisar su situación y hacerle un contrato estable en virtud de sus logros, como al parecer hacen en las mejores universidades de nuestro entorno, donde el sistema se conoce como academic tenure o tenure track, sino que ¡sacan su plaza a concurso!

Es decir, se pone el contador a cero, ¡como si su trayectoria no existiera y como si las garantías sindicales y constitucionales de derecho a un contrato estable no existieran para los trabajadores de la universidad! Si nuestro investigador, a pesar de todo, consolida su plaza, entonces pasará a engrosar las estadísticas de endogamia, con lo cual a la ofensa se une el insulto.

Retos y posibles soluciones

Artículos académicos: open peer review

En relación a la evaluación de artículos, algunos confiamos que la posible adopción del sistema de evaluación abierta, u open peer-review, podría aliviar algunos de los problemas. La razón es que, en primer lugar, evita el trabajo, con frecuencia tan inútil, de la anonimización. Porque, efectivamente, al menos en la mitad de las ocasiones, según estiman los analistas, los evaluadores adivinan la identidad de los autores.

En segundo lugar, previene algunas malas prácticas por parte de los evaluadores. Como éstos saben que sus evaluaciones se van a hacer públicas y que se van conocer sus identidades, es de suponer que evitarán las críticas superficiales y las arbitrariedades. De paso, ven públicamente reconocida su labor.

En tercer lugar, puede evitar rondas adicionales de revisión y contradicciones entre los evaluadores. Para ello, en algunas revistas de ciencias se unifican los dictámenes de los diferentes evaluadores por parte de un editor de la revista a través de un informe consolidado que se hace llegar a los autores.

La mayor publicidad de todo el proceso, ya que se publica la versión original, las evaluaciones y las versión final, pueden ayudar a consolidar la calidad tanto de las investigaciones, que quedan abiertas a un mayor escrutinio, como de las evaluaciones, que también se pueden hacer públicas.

El sistema de revisión abierta tampoco está exento de problemas, por supuesto. Se trataría de poner en una balanza ventajas e inconvenientes y decidir cuál es el mejor. De momento, hay un nutrido número de revistas en el campo de las ciencias experimentales, especialmente, en Medicina y Biología, que han adoptado este sistema y no parece que vayan a renunciar a él.

Para tranquilidad de los amantes del sistema actual, cabe señalar que la evaluación abierta no varía en cuanto a los pasos esenciales del peer review, al menos tal como lo practican la mayor parte de las revistas académicas. Es decir, existe en primer lugar una decisión editorial, y solamente cuando el artículo es aceptado después de esta primera fase se envía a revisión, normalmente a tres expertos que designa la revista.

Es decir, el sistema de revisión abierto, puede seguir en todo, si se desea, los pasos del sistema actual, lo que cambia es que tanto autores como evaluadores conocen sus identidades y también, por supuesto, que la revista puede publicar las evaluaciones de los autores así como la versión inicial y final del artículo.

Carreras académicas

La crítica a la evaluación de carreras académicas basada en métricas de las revistas científicas, tiene un buen fundamento. El problema principal es que se suelen usar, de forma obsesiva, métricas al nivel de las publicaciones, o journal level metrics, para valorar artículos, cosa que requeriría article level metrics.

Un segundo problema es que algunas de estas mismas evaluaciones utilizan la posición de las revistas en cuartiles (en especial Q1) como criterio exclusivo o criterio principal. Otro grave problema es, pese a la existencia de diferentes índices que miden de forma diferente la excelencia, las agencias de evaluación siguen privilegiando a uno solo de ellos, el Journal Impact Factor de los JCR, que además, en el caso de las ciencias sociales y humanidades es especialmente inadecuado.

Métricas

La cuestión es que los problemas derivados del uso de métricas, que no dudamos en calificar de serios, están muy bien representados en dos documentos muy importantes: el Manifiesto de Leiden y la Declaración de San Francisco.

En forma sintética, lo que ambos documentos nos dicen es lo siguiente:

Véase que la reclamación de los dos importantes documentos mencionados, no consiste en rechazar el uso de las métricas, sino en «ponerlas en su lugar», en los términos que hemos procurado sintetizar y destacar en el recuadro anterior.

Es completamente racional que las métricas relacionadas con publicacions académicas acompañen una evaluación. De hecho, uno de los puntos del Manifiesto de Leiden, señala lo siguiente:

El problema es cuando, en lugar de acompañar o complementar una evaluación cualitativa, la sustituyen. Esto es lo que hay que evitar. Pero es evidente que si una parte importante de la actividad académica consiste en la publicación, es lógico que métricas vinculadas con la publicación formen parte de esa evaluación.

Lo que es pertinente y necesario discutir es cómo permitimos que esas métricas afecten a la evaluación. Por ejemplo, ¿las vamos a considerar por si solas, o como aconseja el Manifiesto de Leiden y la DORA, van a ser un complemento?

También es pertinente y necesario, preguntarse qué clases de ítems forman parte de tales métricas. Por ejemplo, ¿han de ser solamente artículos de revistas o deben entrar a formar parte también libros e incluso otro tipos de aportaciones?.

Tipos de producción

En este sentido, un problema evidente con el uso de métricas de impacto tiene relación con el tipo de obra o de producción que se toma en consideración. Era disfuncional la centralidad exclusiva del formato artículo de revista que se tomaba hasta hace poco como única forma de evaluación.

Poco a poco, se está ampliando el tipo de producto que se considera válido para ser evaluado. Hace tiempo que se admiten otras formas de producción, como el capítulo de libro, la monografía y la comunicación como ítems evaluables, al menos en las convocatorias oficiales para sexenios o tramos de investigación para ciertas áreas (en general, de Humanidades y de Ciencias Sociales).

Posiblemente, aún necesitamos profundizar más en esta línea y, junto al artículo científico, seguir apoyando y reforzando la plena dignidad de los otros formatos de publicación que hemos mencionado ante cualquier proceso de evaluación.

Además, se está empezando a reconocer de manera formal y explícita otras clases de contribuciones, como podemos ver con la nuevas modalidad de evaluación de carreras académicas basadas en acciones y actividades de transferencia de conocimiento a la sociedad.

Producción no bibliográfica

De este modo, hay todavía espacio a la innovación con la consideración también de producciones no bibliográficas, como es el caso de cosas tan dispares como la creación de software o de obra artística en áreas donde cada una de las cosas como las mencionadas están en el núcleo de las mismas, y pueden proceder de procesos de investigación.

La única precaución que parece insoslayable es que todas estas posibilidades en la compleción y en la perfección de las formas de evaluación, requieren alguna forma de evaluación o validación externa. La que sea, y adaptada al tipo de actividad o producción que se desea aportar como tal, pero sin esta composición externa parece difícil que pueda jugar este papel.

Por poner un ejemplo, yo puede solicitar, tal vez, que mi obra escultórica me sea aceptada como investigación, pero no si se trata de las esculturas que tengo en el pasillo de mi domicilio y del que no han salido nunca. En cambio, si puedo presentar una memoria sobre el proceso de creación que muestre la investigación subyacente y acompañarla de certificados de haber sido aceptadas en exposiciones y galerías o salas de arte de reconocido prestigio, junto con reseñas de expertos, seguramente la pretensión tendría una buena base.

Parece claro, entonces que el camino no consiste en declarar irracional aquello que no lo es, sino en declararlo incompleto y perfectible, justo como ya se está haciendo con propuestas como las señaladas, y en las que sin duda cabe insistir y profundizar.

Burocracia

Siguiendo con las evaluaciones de trayectorias académicas sería un logro espectacular que, en primer lugar, los actores responsables, ya sean agencia de evaluación o rectorados de universidades dejaran de pedir a los investigadores los datos que ya poseen.

En lugar de esto, sería un importante logro que fueran capaces de utilizar de forma directa el enorme caudal de datos públicos que ya existen de los académicos en las bases de datos a las que todas las universidades y agencias tienen acceso.

Sería una auténtica revolución copernicana. El modelo a seguir se podría parecer a lo que hacen las agencias tributarias con nuestros datos. Como la agencia ya tiene casi todos nuestros datos, podemos pedir un borrador de la declaración de cada año y modificar solamente lo que está mal.

Las agencias de evaluación con una cierta inversión inicial en ingeniería, podrían llegar a poner en una formulario en línea, todos los datos que ya tienen procedente de sus propios archivos y de las bases de datos académicas a las que tienen acceso. De este modo, cuando un profesor tuviera que hacer uno de sus enésimos informes, tal vez tendría ya hecho una buena parte del mismo, que solamente tendría que modificar o validar.

Esto redundaría en una liberación de horas de trabajo, que el profesor podría dedicar a labores más productivas vinculadas con su auténtica obligación: la docencia y la investigación (y no rellenar formularios y redactar memorias de lo que ya hizo).

Academic tenure

Lo que sigue afecta, como repetiré varias veces, a carreras académicas y por tanto, a vidas humanas en el aspecto más decisivo, el que tiene que ver con contratos y estabilidades laborales. A estos temas nos debemos acercar con enorme respeto e incluso con miedo, miedo no a tratar el tema en sí, sino a que posibles cambios irresponsables sean peores que aquello que quieren arreglar.

Por tanto, se ha de tomar con todas las precauciones, y cualquier posible modificación que afecta a las cosas tal como las tenemos ahora se debe llevar a cabo con un proceso de estudios que involucre a todos los afectados, incluyendo las organizaciones sindicales, como es lógico.

Como sea, parece que, si las universidades españolas adoptaran de forma transparente, decidida y formal un sistema internacional como el tenure track en lugar de la versión implícita que ahora tenemos, algunas cosas podrían ir mejor para todos: para los afectados por las plazas, para los empleadores (la universidad) y para la sociedad.

Con una adopción clara del tenure track, se podría poner el énfasis en el concurso abierto para cubrir las nuevas plazas, y después podrían consolidar solamente a quien lo mereciera, siempre tras una evaluación continuada e independiente y con las acreditaciones externas que conviniera.

Entonces no haría falta que se pretendiera que la plaza sale a concurso como si fuera una plaza de nueva creación, porque ya salió en su momento, de modo que la plaza sería de forma transparente para lo que debería ser en estos casos: para consolidar una carrera con toda las garantías necesarias. Para ello sería necesario que los concursos de ingreso fueran realmente abiertos y se les diera la máxima publicidad posible. Los candidatos entonces deberían ser admitidos o rechazados con base exclusiva a la adecuación del perfil a la plaza y a los méritos objetivos de sus CV, no por cooptación ni por afinidad con sus empleadores.

Medidas adoptadas o reforzadas de modo relativamente recientes en universidades públicas, como la imposibilidad de contratar a doctores de la misma universidad sin al menos dos años previos de desvinculación, parece que van en la dirección del tenure track (para evitar la denominada endogamia). El problema es que estas medidas no se han establecido con la claridad necesaria a partir de su establecimiento sin ambigüedad, con lo que todo el mundo sabría a qué atenerse en el futuro, sino que se han hecho retroactivas, con lo que pueden afectar a quienes ingresaron bajo otras condiciones, lo que tal vez puede crear situaciones injustas.

Soy consciente que las cosas se hacen ahora como se hacen por imperativos legales que nadie puede ni debe soslayar. Además, todas estas cuestiones son enormemente delicadas porque, como hemos dicho varias veces, afectan a carreras académicas y por tanto a vidas humanas. Lo que está claro es que posibles variaciones o cualquier modificación en este sensible ámbito debe pasar un proceso de estudio llevado a cabo con transparencia y con la plena participación de todos los sectores afectados.

Conclusiones

En fin, las evaluaciones son necesarias, como hemos intentado argumentar, por una variedad de razones, todas de enorme calibre, ya que van desde aspectos de ética hasta de garantías de calidad de la ciencia, pasando por aspectos de rendimiento de cuentas.

Pero cómo afectan a nuestras vidas, a nuestros egos y, por supuesto, a nuestro futuro, no podemos esperar que estén exentas ni de críticas ni de debates. Lo que además podemos esperar es que todo vaya mejorando si, al menos, aceptamos que tienen problemas, por muy necesarias que sean.

Pero también necesitamos evitar las propuestas que nos desacreditan como colectivo que necesita fondos públicos para su actividad, así que nos deberían preocupar las propuestas que parecen exigir la desaparición de las evaluaciones externas.

Por último: este artículo se apoya en otros trabajos, y debe mucho a dos documentos en concreto: el Manifiesto de Leiden y la Declaración DORA, pero también incluye opinión pura, aunque he intentado que sea rigurosa, transparente y en lo posible bien argumentada, precisamente para que pueda ser fácilmente refutada si alguien tiene buenos argumentos para ello.

La lista siguiente de referencias, por tanto, no debe interpretarse necesariamente en el sentido de obras que dan soporte a todo esto, aunque creo que tampoco se lo niegan de manera frontal. Son, literalmente, para saber más y por tanto no responde al intento de aportar una bibliografía exhaustiva sobre el tema.

Para saber más

Codina, Lluís (2016). “Evaluación de la ciencia: tan necesaria como problemática”. El profesional de la información, v. 25, n. 5, pp. 715-719. Descargar la versión 2016 en PDF [Versión original del articulo actual]

Codina, Lluís (2019). Cómo redactar un informe de peer review: lo que las editoriales esperan y los autores deben saber.

Codina, Lluís (2020). Journal Impact Factor, CiteScore y Scimago Journal Rank: qué son y cómo usarlos en ciencias sociales y humanidades

Directorate-General for Research and Innovation. European Commission (2019). Future of scholarly publishing and scholarly communication.

Etkin, A. (2014). “A new method and metric to evaluate the peer review process of scholarly journals”. Publishing Research Quarterly. doi:10.1007/s12109-013-9339-y

Hames, Irene (2007).  Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.

Hicks, D.; Wouters, P.; Waltman, L.; de Rijcke, S.; Rafols, I. “Bibliometrics: The Leiden Manifesto for research metrics“. Nature, 22 April 2015, n. 520, p. 429-431.  PDF en ingles | PDF en castellano

Marc Ware Consulting. Publishing Research Consortium Peer review survey 2015.
Acceso: http://publishingresearchconsortium.com > peer-review-survey-2015/

Nicholas, D. et al (2014). “Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study”. Learned Publishing, 27, 121–134. doi:10.1087/20140206

Nicholas, D., Watkinson, A., Jamali, H.R., Herman, E., Tenopir, C., Volentine, R., Allard, S., Levine, K. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.

Paolucci, M., & Grimaldo, F. (2014). “Mechanism change in a simulation of peer review: from junk support to elitism”. Scientometrics, pp. 1–26. doi:10.1007/s11192-014-1239-1.

Robinson-García, Nicolás; Repiso, Rafael; Torres-Salinas, Daniel (2018). “Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría”. El profesional de la información, v. 27, n. 3, pp. 461-466. https://doi.org/10.3145/epi.2018.may.01

San Francisco Declaration on Research Assessment (DORA). Acceso: https://sfdora.org/read/

Vesnic-Alujevic, L. (2014). “Peer review and scientific publishing in times of web 2.0”. Publishing Research Quarterly. doi:10.1007/s12109-014-9345-8

Versión original 2016

Nota: versión actualizada del artículo publicado, en la sección Observatorio, en la revista El Profesional de la Información. Referencia: Codina, Lluís (2016). “Evaluación de la ciencia: tan necesaria como problemática”. El profesional de la información, v. 25, n. 5, pp. 715-719. Descargar la versión 2016 en PDF