La Fundación Española para la Ciencia y la Tecnología (FECYT) ha publicado una interesante guía que detalla los criterios que propone para evaluar y poder determinar así la calidad en revistas académicas, en este caso en el ámbito de las Ciencias Humanas y Sociales.
Dada la importancia intrínseca de la FECYT como organismo asesor y promotor de la producción científica de nuestro país, así como la solvencia de los autores y el rigor de la metodología utilizada, dedicamos este artículo a la reseña de los indicadores incluidos en esta Guía.
Nos centraremos por tanto en los 14 indicadores que propone, obviando otras secciones que, sin embargo, son de gran interés, por lo cual, esperamos que esta reseña sea un aliciente para la lectura completa de la Guía.
La referencia
Elías Sanz-Casado, Daniela De Filippo y Rafael Aleixandre-Benavent. Guía metodológica para la clasificación de revistas: guía metodológica para la creación de una clasificación de revistas en Ciencias Humanas y Sociales, destinada a las agencias de evaluación del mérito docente e investigador. Madrid: FECYT, 2016. Acceso: Guía calidad revistas FECYT – pdf
Sobre la FECYT
Tal como señala la página web de la FECYT:
La Fundación Española para la Ciencia y Tecnología, FECYT, es una fundación del sector público que depende del Ministerio de Economía, Industria y Competitividad. Nuestra misión es impulsar la ciencia, la tecnología e innovación, promover su integración y acercamiento a la Sociedad y dar respuesta a las necesidades del Sistema Español de Ciencia, Tecnología y Empresa (SECTE).
Creada en 2001, la fundación tiene como uno de sus objetivos fundamentales incrementar el interés de la sociedad española por la ciencia, así como dar visibilidad a los resultados de la investigación científico-técnica y de la innovación financiados con fondos públicos.
Sobre los objetivos de la Guía
Tal como señalan los autores:
Nuestro fin último con esta metodología es contribuir a que las agencias de evaluación la tomen en consideración de aquí en adelante y podamos trabajar conjuntamente en que este método se pueda ir perfeccionando, de manera que pueda ser utilizado como indicio de calidad en los procesos de evaluación.
Por lo tanto, hemos de entender la idea de la clasificación en este caso como una referencia a diferentes niveles de calidad.
Los destinatarios son las agencias de evaluación, pero lógicamente estos criterios deben interesar, y mucho, a los editores de las revistas, por un lado, y a los autores, por otro, también a los estudiosos del tema.
Los primeros para mejorar en lo posible sus políticas y procedimientos editoriales, y los segundos para disponer de criterios con los que elegir dónde enviar sus propuestas de publicación. A los estudiosos del tema por la importante información que aporta.
Estructura
La guía tiene 4 apartados principales si descontamos la introducción, las conclusiones y la bibliografía (no porque carezcan de interés, sino porque queremos destacar el cuerpo del informe):
Proceso de evaluación de las revistas científicas estatales
Actualidad de la evaluación del mérito investigador
- Motivación para la elaboración de un instrumento de clasificación de revistas de
Ciencias Sociales y Humanidades Metodología de clasificación propuesta
Dado que en esta reseña nos interesa enfocar los criterios de calidad nos centraremos en el apartado que hemos destacado en negrita, el Proceso de evaluación, y dentro de éste, concretamente, en el epígrafe Metodología de la convocatoria general de evaluación. Fase 1: Evaluación de la calidad editorial y científica: cumplimiento de los indicadores (p. 7-11), por tratarse de la sección de la Guía que presenta los indicadores.
Indicadores de calidad en revistas académicas
Para presentar y, en su caso comentar, los indicadores de calidad, utilizaremos la tabla que seguirá a continuación. Es importante señalar lo siguiente a propósito de las columnas de la misma:
- Título del indicador y Explicación: transcriben (en algún caso parcialmente) lo que indica la Guía, con tipografia serif.
- Observaciones: son comentarios añadidos por este autor y por eso hemos procurado diferenciarlos con claridad, utilizando también otra tipografía y otro color.
- Fase 1 y2. La Guía divide la totalidad de los 14 indicadores en dos Fases, tal y como se aplican en una evaluación. La revista debe superar la totalidad de los 12 indicadores de la primera Fase para poder seguir a la Fase 2, que contiene los dos últimos.
| N. | Título del indicador | Explicación [Observaciones] |
| Fase 1 | ||
| 01 | Identificación de los miembros de los consejos en la publicación | Identificación y filiación profesional precisa y completa de los comités editoriales y científicos de la revista (Dirección, Secretaría de Redacción, Consejo de Redacción, Comité Editorial o Consejo Asesor). Observación: entendemos que se refiere a lo que, en otras guías, se denomina Cuerpo editorial. Quizás esta denominación sería más adecuada, por ser más comprensiva, que «miembros de los consejos». |
| 02 | Apertura del Consejo de Redacción | Al menos un tercio de los miembros de este Consejo deberán pertenecer a instituciones diferentes al organismo editor. |
| 03 | Instrucciones detalladas a los autores | Existencia de instrucciones a autores detalladas con información sobre envío y presentación de manuscritos (soporte, formato, estructura física, tipo, forma envío, corrección de pruebas). Información acerca de los tipos de artículos considerados por la revista, con una descripción de su contenido, formato y extensión. Recomendaciones que orienten a los autores en la correcta confección de títulos, resúmenes, palabras clave, filiación profesional y referencias bibliográficas. Información sobre el proceso editorial que siguen los manuscritos, sistema utilizado por la revista para su evaluación-selección y criterios de publicación. Observación: aunque puede entenderse que forman parte de las instrucciones a los autores, podría añadirse instrucciones sobre la anonimización de los artículos en el caso de las revistas que utilicen doble ciego. |
| 04 | Existencia de resúmenes y palabras clave | Todos los artículos científicos de la revista deberán contar con resumen y palabras clave. |
| 05 | Traducción de los títulos de los artículos, palabras clave y resúmenes al inglés | Todos los artículos científicos de la revista deberán ofrecer, al menos, el título, resumen y palabras clave en inglés. |
| 06 | Declaración y cumplimiento de la periodicidad | Publicación sin interrupciones del número de fascículos y en los intervalos de tiempo marcados según la periodicidad de la revista. |
| 07 | Arbitraje científico externo | Empleo por parte de la revista de al menos un 50% de expertos externos al comité de redacción y a la entidad editora, seleccionados ad hoc, para dictaminar y valorar la originalidad, novedad, relevancia y calidad metodológica de todos los manuscritos recibidos.
Observación: Un criterio completamente lógico y muy bien estructurado, pero sorprende un poco (hasta cierto punto, todo hay que decirlo) que el segundo punto no ponga el énfasis en la evaluación por pares, sino en el tipo de «ciego» utilizado, requiriendo que al menos sea simple. Es un importante avance respecto a otras guías que solamente reconocen el doble ciego. En editoriales académicas del mayor prestigio, como Elsevier, tal como lo explicitan claramente en esta página, en lo que se insiste es en la evaluación por pares, y se admiten al menos tres formas distintas de ella: doble ciego, simple ciego y evaluación abierta. Otras editoriales, muchas de ellas, del campo de las ciencias experimentales, a las que solemos mirar cuando buscamos ejemplos de excelencia en estos ámbitos, defienden también la evaluación abierta, como es el caso de BioMed Central, como se puede ver en esta página sobre peer review de la misma, donde podemos ver que la evaluación abierta está perfectamente incluida. Más información en la siguiente página: tipología de sistemas de peer review. También en la bibliografía que hemos añadido al final de esta entrada. |
| 08 | Internacionalidad | Como mínimo el 10% de los componentes del Consejo Asesor o el 10% de los autores deberán pertenecer a instituciones extranjeras. |
| 09 | Porcentaje de artículos de investigación | Más del 50% del contenido de la revista debe corresponder a artículos que comuniquen resultados de investigación originales. Observación: es fácil estar de acuerdo con este apartado, pero creemos que no debería dar pie a interpretar que resultados de investigación se refiere solamente a diseños experimentales, y menos si nos estamos refiriendo al ámbito de las Ciencias Sociales y Humanas, En estos ámbitos, una parte muy importante de la investigación se lleva a cabo mediante metodologías cualitativas donde no es frecuente el diseño experimental, sino otras formas, como el estudio de caso, la observación participante, los estudios etnográficos, etc. |
| 10 | Endogamia en las autorías | Más del 80% de los trabajos deberán estar firmados por autores externos al Consejo de Redacción y a la entidad editora de la revista. |
| 11 | Importancia de las bases de datos en las que están indizadas las revistas | El indicador detecta la visibilidad internacional de la revista. Se valorará el esfuerzo de los editores en la incorporación de la revista a las bases de datos bibliográficas de cobertura internacional más relevantes. Observación: la Guía propone criterios articulados y muy bien detallados para la baremación por puntos en función del número e importancia de las bases de datos, siendo Web of Science y Scopus las más importante. En el esquema que presentamos aquí, obviamos estos detalles que deben consultarse en la Guía. |
| 12 | Repercusión e impacto de la revista | En la valoración de este indicador se acudirá a criterios de objetivación formal indicativos de la calidad de la investigación publicada, con el fin de identificar aquellas revistas que alcanzan una repercusión suficiente entre la comunidad científica. Para determinar la aplicación del indicador 12 se buscará incluir las fuentes más importantes de citación, dar el peso específico más adecuado por la repercusión de la fuente y evitar la discriminación entre áreas de conocimiento considerando las características diferenciales en el ciclo de citación que se produce entre las mismas Observación: como en el indicador anterior, la Guía detalla de forma muy precisa un conjunto de criterios y de formas de baremación basados en el impacto de sus artículos, para lo cual, a su vez, se utilizan las bases de datos más importantes. Remitimos a la misma para su consideración. Aquí, nos limitamos a presentar el indicador y su filosofía, indicada en el párrafo precedente. |
| Fase 2 | ||
| 13 | Orientación de la revista | Entendiéndose como tal si la revista tiene una orientación científica, divulgativa o profesional. Este indicador puede ser evaluado en una escala del 1 al 10 y, para que se considere positivamente, la revista ha de obtener un mínimo de 5 puntos. Observación: a primera vista puede parecer contradictorio establecer puntuación en función de si la revista tiene algunas de las orientaciones no científicas indicadas (en tal caso, ¿no debería quedar fuera de la clasificación?). La existencia de una escala ayuda mucho en este caso porque puede haber revistas de enfoques mixtos. En tal caso, por un lado la escala permite incluirlas si predominan las orientaciones científicas, y por otro, se entiende que una revista con orientación exclusivamente divulgativa o profesional puede suspender la evaluación. |
| 14 | Estructura de la revista y de los artículos de investigación | Este indicador evalúa, por una parte si los contenidos de la revista son principalmente dedicados a la comunicación de resultados de investigación y, por otra, si los artículos siguen el modelo de redacción IMRyD (Introducción; Metodología; Resultados y Discusión). Este indicador será evaluado en una escala del 1 al 10 y, para que se considere positivamente, la revista ha de obtener un mínimo de 5 puntos. Observación: algunos autores cuestionan esta estructura, IMRyD, por considerar que limita la creatividad en la investigación. Sin duda siempre deben ser bienvenidos los cuestionamientos, ya que ayudan a reflexionar y a profundizar en un campo. Ahora bien, nosotros compartimos el criterio de los autores de la Guía en este sentido, y entendemos que IMRyD es una estructura a favor de la transparencia y, por tanto, facilita la evaluación. No parece que haya ningún motivo por el cual esta estructura amenace la creatividad. Otra cuestión es si los apartados de los artículos deben denominarse así exactamente. Lo que queremos decir, sencillamente, es que en algunos artículos, el apartado de Introducción incluye la Metodología, por lo cual no aparecerá explícitamente. Y en otras publicaciones, los Resultados y las Discusión pueden aparecer en Conclusiones, con lo que estamos en el mismo caso. Por tanto, cabe entender, o así lo esperaríamos nosotros, que la expresión de la Guía: «…si los artículos siguen el modelo de redacción IMRyD» debe entenderse en el sentido que hemos señalado, a saber, son apartados que determinan la estructura interna del articulo, aunque no aparezcan con esa literalidad. Adicionalmente, se otorgará un punto extra a aquellas revistas que publiquen sus contenidos respetando la política estatal de acceso abierto, es decir, que permitan a los autores depositar en repositorios institucionales o temáticos de acceso abierto la versión final de sus artículos aceptados para publicación, en un plazo máximo de seis meses para Ciencias Puras, Ciencias Experimentales y Ciencias de la Vida, y de doce meses para Humanidades y Ciencias Sociales, sin que esto suponga un coste adicional para los autores. Observación: el destacado es nuestro. Creemos que el futuro de la publicación académica es en abierto. Otra cosa es que alguien debe financiar los costes de procesamiento de los artículos si queremos seguir teniendo publicaciones académicas de calidad. Pero esto es otro debate, y no faltan ideas ni modelos para el mismo. |
Tabla: transcripción de los Indicadores de la calidad en revistas académicas según FECYT. Fuente: obra reseñada. Las observaciones (color azul) son propias.
En la captura siguiente vemos un resumen obtenido de la Guía de los criterios a los que se refiere el indicador n. 12:
Otras secciones de la Guía
Aunque esperamos que la tabla anterior sirva para tener una primera visión de los indicadores, debemos recomendar la consulta de la Guía completa, porque todos sus apartados son, no solamente de gran interés, sino necesarios para la aplicación de los indicadores sin errores.
Concretamente, queremos destacar por su utilidad el apartado donde se detallan los resultados de la evaluación de las revistas españolas llevado a cabo, el 5, titulado Metodología de clasificación propuesta que incluye indicaciones completas, apoyadas por capturas de pantalla,de los análisis en las bases de datos que utilizan los autores de la propuesta,
Conclusiones
La Guía reseñada aporta un valioso sistema de análisis de la calidad en revistas académicas en el campo de las Ciencias Humanas y Sociales.
El único punto en el que tenemos una cierta discrepancia, de nivel ciertamente muy menor, es en el indicador n. 7, referido al arbitraje externo, donde el énfasis se hace más en modo del mismo (doble o simple ciego), que en el hecho de que sea una revisión por pares.
Creemos que este indicador (7) hubiera podido contemplar, aunque fuera a título de mera posibilidad, un tercer tipo de evaluación, que hace tiempo que es totalmente aceptado en editoriales académicas de máximo prestigio, a saber, la revisión abierta.
Esto es debido a que la tendencia actual en la evaluación de la ciencia creemos que pone más el énfasis en el hecho de que los trabajos deben superar una evaluación por pares, y no tanto en el modo, que puede ser alguno de los tres ampliamente aceptados: doble ciego, simple ciego o abierta.
El motivo por el cual algunos proponemos, al menos, la consideración teórica de este tercer tipo es por sus interesantes implicaciones para la ciencia abierta, que de este modo alcanza también al propio proceso de evaluación, al permitir, por ejemplo, la publicación de las observaciones de los evaluadores junto con el artículo final, algo que en un mundo de publicaciones impresas sería impensable.
Ciertamente, algunos observadores entiende que los procesos de revisión abiertos tiene menos sentido en las Ciencias Humanas y Sociales, por la supuesta menor estandarización de sus criterios de «cientificidad», pero no sabemos hasta que punto esto no deja de ser una reflejo de acomplejamientos de nuestras disciplinas que deberían ser considerados. En todo caso, no es este el lugar donde desarrollar estas consideraciones.
Lo más importante es que la Guía es de gran utilidad no solamente para sus destinatarios específicos, las agencias de evaluación, sino también, al menos a otros tres actores muy importantes: los editores de revistas y los autores de los artículos, por un lado, y los estudiosos del tema por otro. Por lo tanto, debemos agradecer a la FECYT este trabajo y felicitar a los autores por el excelente resultado.
Bibliografía sobre revisión por pares
El apartado de Bibliografía que incluye la Guía es muy recomendable, y debe consultarlo cualquier interesado en el tema.
Aquí proponemos algunas referencias centradas en aspectos de revisión de artículos de revistas.
- Etkin, A. (2014). A new method and metric to evaluate the peer review process of scholarly journals. Publishing Research Quarterly. doi:10.1007/s12109-013-9339-y
- Faulkes, Z. (2014). The vacuum shouts back: Postpublication peer review on social media. Neuron.doi:10.1016/j.neuron.2014.03.032
- Hames, Irene (2007). Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. London: Blackwell.
- Nicholas, D et al (2014). Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study. Learned Publishing, 27, 121–134. doi:10.1087/20140206
- Nicholas, D. et al. (2015) Peer review: still king in the digital age. Learned Publishing, 28, 15-21. doi: 10.1087/20150104.
- Onitilo, A. et al. (2014). A core-item reviewer evaluation (CoRE) system for manuscript peer review. Accountability in Research, 21, 109–21. doi:10.1080/08989621.2014.847664
- Paolucci, M., & Grimaldo, F. (2014). Mechanism change in a simulation of peer review: from junk support to elitism. Scientometrics, pp. 1–26. doi:10.1007/s11192-014-1239-1
- Park, I.-U., Peacey, M. W., & Munafò, M. R. (2014). Modelling the effects of subjective and objective decision making in scientific peer review. Nature, 506, 93–6. doi:10.1038/nature12786
- Vesnic-Alujevic, L. (2014). Peer review and scientific publishing in times of web 2.0. Publishing Research Quarterly. doi:10.1007/s12109-014-9345-8
