Nadie discute la necesidad de la evaluación de la ciencia, pero es motivo de continuas controversias. En este artículo se presentan las características de las principales evaluaciones que forman parte del entorno de la investigación, incluyendo las evaluaciones de artículos bajo el sistema peer review y las evaluaciones de trayectorias personales. Se comentan los principales problemas y los retos y posibles soluciones.
Palabras clave
Ciencia; Academia; Evaluación de la ciencia; Publicación de artículos; Peer review; Tramos de investigación.
| Como la evaluación de la ciencia implica evaluar trayectorias personales y afecta al futuro de los académicos siempre será controvertida, aparte de tener algunos efectos colaterales indeseables que podrían evitarse. |
Introducción
Desde un punto de vista teórico, no se sabe de nadie que discuta a estas alturas la necesidad de que la ciencia, para merecer este nombre, debe ser una actividad evaluada. Otra cosa son las reacciones cuando la aplicación de tal evaluación afecta a las carreras académicas y, por tanto, al futuro (y al bolsillo) de los investigadores: léase fracasar en la publicación de artículos, en la obtención de acreditaciones o en alguna clase de reconocimientos que darían derecho a mejores contratos o a aumentos de salario.
Es inevitable, dada la naturaleza humana, que el impacto negativo de algunas evaluaciones en las carreras de los investigadores genere un debate permanente sobre las formas en las que se lleva a cabo, incluso en algunos casos, aunque minoritarios, genere un rechazo a la supuesta necesidad de cualquier forma de evaluación. Pero incluso entre aquellos que aceptan los fundamentos de la evaluación, surgen voces críticas ante algunos excesos, así como ante efectos colaterales que causan más daños que beneficio a la ciencia en general.
| La justicia es la primera virtud de las instituciones sociales, como la verdad lo es de los sistemas de pensamiento. Por muy elegante y eficiente que sea una teoría, debe ser rechazada o revisada si no es verdad. John Rawls. Teoría de la Justicia |
El fundamento, digamos filosófico, de la ciencia evaluada es el siguiente: la primera virtud de un sistema de pensamiento es la búsqueda de la verdad (John Rawls), pero el ser humano no dispone de ningún sistema fiable que le permita saber con absoluta certeza haber alcanzado la verdad absoluta respecto a algo, al menos no si ese algo es más complejo que una simple piedra al sol.
A partir de esta simple constatación, la ciencia, al menos desde los últimos dos siglos, exige algo que podemos llamar triangulación para poder estar razonablemente seguros de lo que sus cultivadores, los científicos, intentan ofrecernos.
Esta triangulación es omnipresente: la encontramos en los protocolos de los experimentos, de los análisis y de la obtención de datos empíricos. Pero, y aquí está la clave del tema que nos ocupa en este Observatorio, la vemos también cuando una publicación científica o una autoridad académica debe decidir si un artículo es de calidad o si una trayectoria académica o científica merece ser reconocida.
La triangulación se manifiesta en cada caso de una forma distinta: para decidir sobre la calidad de un artículo, el editor pedirá al menos a dos expertos que opinen sobre el mismo; para que una agencia reconozca una carrera académica, se necesitará un tribunal de expertos que, además, pedirán datos objetivos el investigador que espera ser evaluado, etc.
(..)
La situación actual de la evaluación de la ciencia
Empecemos con dos observaciones. Primera: si tuviéramos que buscar una forma abstracta de definir cómo funcionan los sistemas de evaluación de la ciencia actuales podríamos decir que consisten en dos tipos de componentes: 1) métricas objetivas, 2) evaluaciones por pares o expertos. En algunas evaluaciones solo interviene el segundo de ellos, mientras que en otras consiste en una combinación de los dos componentes. En este último caso, puede suceder que el primer componente, las métricas, tenga un gran peso a expensas del segundo, o al revés.
Segunda: aquello que se somete a evaluación tiene un amplio espectro. Con razón suele decirse que la profesión de investigador es una de las más evaluadas del mundo. Va desde la necesaria para conseguir un título de doctor hasta la evaluación de la trayectoria de un investigador para conseguir un contrato o una mejora del mismo.
En medio de todo esto tenemos una auténtica legión de evaluaciones, tanto individuales: solicitudes de beca, de artículos en revistas científicas, de proyectos de investigación, de tramos de investigación, de calidad en la docencia, como colectivas: de acreditación de títulos de grado o de máster, de grupos de investigación, de departamentos, de facultades y ¡de universidades enteras!
Para simplificar, revisemos someramente dos de las que, por otro lado, causan más polémicas: la evaluación de artículos científicos y las evaluaciones de trayectorias académicas. Son dos cosas muy distintas: una es un pedazo de papel (bueno, acéptenlo como metáfora) y la otra puede ser una vida entera de dedicación. Sin embargo, están muy relacionadas.
La forma más extendida actualmente de evaluar artículos científicos es mediante el conocido sistema denominado peer-review. En este punto, solamente señalaré que es un caso puro de evaluación por expertos con todos los problemas de subjetividad que pueden adivinar, pero estos aspectos les dejo para más adelante.
En el otro extremo, tenemos la evaluación de trayectorias investigadoras, es decir, la evaluación de personas de carne y hueso. De éstas, a su vez (al menos en España) tenemos dos: la llamada acreditación, para poder conseguir un contrato en una universidad, y los tramos de investigación, para ver reconocidos un número de años como investigadores de (razonable) éxito.
En estas últimas, donde se evalúa a seres de carne y hueso (y no solamente un trozo de papel) entran en juego tanto los componentes de tipo 1, las métricas, como los de tipo 2, las evaluaciones por expertos.
Problemas y efectos colaterales. La evaluación de artículos científicos
El sistema actual de evaluación de artículos científicos, denominado como saben peer-review, es uno de los más aclamados y más criticados a la vez. Por un lado, hay un consenso casi total entre editores y agencias de evaluación que solamente son aceptables como aportaciones científicas los artículos publicados en revistas que se someten al sistema peer-review. Además, las bases de datos más importantes, como Web of Science y Scopus es la única clase de revistas que aceptan en sus repertorios.
Sin embargo, no pasa día sin que algún medio de comunicación e incluso alguna revista de peer-review ¡critiquen el peer-review! Ante esto, siempre pienso en el símil de la democracia como sistema de gobierno. Afortunadamente, en esta época casi no está en discusión la legitimidad de la democracia, pero las cosas eran muy diferentes en la primera mitad del siglo XX.
| El peer review es el peor de los sistemas, salvo todos los demás |
En un momento, determinado, harto Winston Churchill de tener que justificar su defensa de la democracia, lanzó una de sus famosas frases: “la democracia es el peor de los sistemas, salvo todos los demás”.
De modo que ante la persistencia de las críticas, por un lado, pero la evidencia cotidiana de su necesidad, por otro, lo único que se me ocurre es: “el peer-review es el peor de los sistemas, salvo todos los demás”.
Lo que evidencia que el peer-review tiene difícil (o imposible) sustitución es que sus críticos, a día de hoy, no proponen alternativas. Son muy conocidos sus defectos, de los que recordaremos algunos brevemente, pero no se sabe de ninguna propuesta viable alternativa (auto publicarse o dejar la elección a decisión del director de cada publicación no sirve).
Hemos dicho que hablaríamos de sus defectos, en mi propia lista de problemas (que tampoco es muy original) yo señalaría los dos siguientes: (1) en su forma mayoritaria (doble o simple ciego) causa enormes retrasos y (2) los evaluadores en ocasiones son arbitrarios, amparados en el anonimato que les protege. Otros señalarían la obviedad de que no es un sistema perfecto: no siempre evita los fraudes, a veces no detecta plagios, los evaluadores suelen adivinar la identidad de los autores, etc. Dejamos para más adelante, algunas posibles soluciones a los dos primeros problemas, y dejaremos la simple constatación de que no es un sistema perfecto como lo que es, una obviedad.
(..)
Para seguir leyendo
Acceder al artículo completo: El Profesional de la Información, Sep. 2016
La Referencia:
Codina, Lluís (2016). “Evaluación de la ciencia: tan necesaria como problemática”. El profesional de la información, v. 25, n. 5, pp. 715-719. https://doi.org/10.3145/epi.2016.sep.01
