Elementos de calidad de una publicación académica según la base de datos Scopus

Dada la especial significación de la base de datos Scopus para las Ciencias Sociales y las Humanidades, por no mencionar la importancia de la editorial que la sustenta, Elsevier, en este artículo nos centraremos en los elementos de calidad y los criterios de admisión de una publicación académica en la mencionada base de datos.

Las revistas académicas adquieren un mayor reconocimiento en la medida en que son aceptadas como parte de repertorios y bases de datos, a la vez que consiguen así mayor difusión. Ésta, atrae a un mayor numero de autores, lo que permite a los editores de la revista seleccionar los mejores artículos, lo cual a su vez incrementa la citación y el factor de impacto de la revista. No siempre se trata de un círculo virtuoso, como atestigua que cada año algunas revistas son retiradas de las bases de datos, a causa de alguna reducción en sus indicadores de calidad.

Aunque no sean las únicas, Scopus y Web of Science son las dos bases de datos de tipo multidisciplinar y de nivel internacional más importantes del mundo, con mucha diferencia. En España, concretamente, disponemos de algunas iniciativas de enorme calidad, como  Dialnet o las bases de datos del CSIC pero su ámbito es la producción científica nacional, lo que no les resta ni un gramo de utilidad, sino todo lo contrario, para los investigadores de nuestro país. 

En consecuencia, constituye una preocupación mayor de los editores de revistas, sobre todo de los responsables de nuevas publicaciones, cumplir con los criterios de calidad de tales bases de datos para poder solicitar su inclusión.

Dado su especial interés para las Ciencias Humanas y Sociales, como ya hemos señalado, en esta ocasión nos centraremos en los criterios de calidad de la base de datos internacional Scopus. A tal efecto, intentaremos sintetizar en lo que sigue los que nos ha resultado posible derivar del análisis de los siguientes documentos oficiales de Scopus-Elsevier  (asignamos una clave, Refx, a cada documento para podernos referir después a ellos con más facilidad):

• Scopus-Content (Ref1)
• An Introduction to the Scopus Content Selection and Advisory Board (Ref2)
• Content Policy and Selection (Ref3)
• Re-evaluation: Maintaining high-quality content in Scopus (Ref4)
• Scopus Journal FAQs: Helping to improve the submission & success process for Editors & Publishers (Ref5)
• Scopus Content Coverage Guide (Ref6)

Además, los interesados pueden revisar también la página que contiene el formulario para solicitar la admisión y los datos para cumplimentarlo:

• Scopus Title Suggestion (Ref7)

Tras la revisión de la documentación anterior,  vamos a presentar cuáles son los elementos de calidad que pueden derivarse de los mismos y el proceso que debe seguirse para solicitar la admisión en Scopus, y  lo articularemos todo en los siguientes apartados:

• Criterios de inclusión
• Categorías de evaluación
• Re-evaluación
• Modelos de peer-review
• Open Access
• Proceso de evaluación

Criterios de inclusión en Scopus

Scopus establece los así llamados minimum elegibility criteria (Ref3, Ref5). Es decir, aquellos  criterios que debe satisfacer una publicación académica para poder solicitar la puesta en marcha del proceso de selección de cara a su eventual aceptación. Estos criterios mínimos se satisfacen cuando la publicación:

• Consist of peer-reviewed content and have a publicly available description of the peer review process

• Be published on a regular basis and have an International Standard Serial Number (ISSN) as registered with the ISSN International Centre

• Have content that is relevant for and readable by an international audience, meaning: have references in Roman script and have English language abstracts and titles

• Have a publicly available publication ethics and publication malpractice statement

Mientras los tres primeros son bastante previsibles, el cuarto puede sorprender a quienes piensen que la adhesión a determinados principios éticos de base es algo que se sobreentiende en una publicación académica.  Lejos de ello, como vemos, es necesario que las publicaciones candidatas los hagan explícitos. Resulta conveniente ver por tanto, qué señala, literalmente, la documentación de Scopus (Ref3) a este respecto:

Scopus requires that every journal we index has clear and publicly available statements of publication ethics and publication malpractice. Scopus will hold each publisher listed in the database accountable for the performance and compliance with these policies. Scopus does not mandate any specific wording of publication ethics and publication malpractice statements, but notes that:

• Major publishers already publish comprehensive statements of compliance on their websites. See Elsevier for an example.

• A number of industry organizations publish comprehensive guidelines and advice that can be readily adopted by any publisher. Such notable organizations include:

  • Committee on Publication Ethics (COPE)
  • World Association of Medical Editors (WAME)
  • International Committee of Medical Journal Editors (ICMJE)
  • Consolidated Standards of Reporting Trials (CONSORT)

• Guidelines for what a Publication Ethics and Malpractice Statement should adhere to (PEMS)

Por lo anterior, podemos apreciar que, para revistas del ámbito de las Humanidades y las Ciencias Sociales, posiblemente, adherirse a las recomendaciones éticas del COPE puede ser una opción adecuada. En todo caso es algo que debe valorar con la atención que merece el equipo editorial de la publicación correspondiente, y por supuesto, una vez declarada tal adhesión, la revista debe honrarla tanto en sus políticas como en su praxis editorial.

Categorías de evaluación

Una vez una publicación satisface los criterios anteriores, y en consecuencia es elegible para su inclusión, las diferentes categorías que Scopus considera para proceder a su evaluación son los siguientes:

Obviamente, todos los apartados son de la mayor importancia, pero tal vez lo que convenga resaltar es que, incluso para revistas en lengua no inglesa, se requiere una página de información en tal lengua y que la regularidad en la publicación («sin interrupciones ni retrasos») forma parte también de los criterios de evaluación. Merece así mismo destacar la clara llamada a la transparencia y el rigor editorial que aparece, entre otros, en el criterio que reclama una «política editorial convincente» (Convincing editorial policy). 

Re-evaluación

Las bases de datos re-evalúan sus publicaciones de manera continuada, lo cual puede conducir a la exclusión temporal o definitiva de revistas previamente aceptadas. Por tanto, la re-evaluación (Refs 3 y 4) es tan importante como la propia evaluación, primero, porque como hemos dicho, de ella depende la continuidad en la base de datos. Segundo, porque si una publicación candidata padece, de entrada, de alguna de las señales que incidirían en una re-evaluación negativa, lo lógico sería rectificar estos aspectos antes de solicitar la inclusión.

En el caso de Scopus, la re-evaluación se centra en la detección de las denominadas revistas de bajo rendimiento (low performing journals). Para ello, Scopus utiliza 6 métricas, y para cada una establece lo que denomina un benchmark, del que en este caso, lo que conviene es mantenerse lejos. Lo vemos en la tabla siguiente:

Como podemos ver los «benchmarks» son umbrales que se calculan como valores porcentuales. No estamos por tanto delante de valores absolutos, sino siempre de métricas relativas, y no a la totalidad de la base de datos, sino relativas a las revistas de la misma área.

Examinemos 1 y 2 para acabar de entender el concepto. Concretamente, la primera, el grado de autocitación («self-citations»), nos dice que resultará en una señal negativa que una publicación (en el período considerado, supongamos un año) tenga el doble o más autocitaciones que las revistas de su área.  La 2 nos indica, en cambio, que la señal negativa consistirá en recibir la mitad (o menos) de las citas que otras revistas de nuestra área. Y así, Scopus maneja los seis indicadores de la tabla anterior, cada uno de ellos, por lo que nos parece, bastante elocuentes.

Respecto a las publicaciones que acumulen estas señales negativas, la documentación de Scopus (Ref3) señala: 

Journals not meeting the benchmarks of all six metrics will be red flagged by Scopus and asked to address the issues. If the red flag remains, the journals will be reviewed by the independent Scopus Content Selection and Advisory Board (CSAB), with the possible consequence of the journal being discontinued in Scopus

Si interpretamos literalmente la afirmación anterior, lo que sitúa a una publicación en la zona de peligro de exclusión es incumplir las seis métricas («all six metrics»), en cuyo caso los editores primero reciben el aviso correspondiente para que reconduzcan la situación y en caso de persisitir, la publicación podrá ser excluida de la base de datos.

Una primera consideración puede ser del tipo: «caramba, parece difícil, que una vez admitida una publicación, acumule las seis señales». Tal vez, pero si lo consideramos un poco, puede suceder que cada una de estas señales esté ligada con alguna otra, e incluso con la mayor parte de las demás. Empecemos por la señal 2, la tasa baja de citaciones. Parece que está ligada casi directamente con la 3, la 5 y la 6. Y como vemos por la 1, no es algo que vayamos a poder resolver precisamente con auto-citaciones. Por tanto, si la admisión no es ni fácil ni automática, la permanencia, tampoco. El equipo editorial de la publicación eventualmente admitida, no solo ya no podrá bajar el nivel, sino, todo lo contrario, deberá seguir trabajando para intentar subirlo (aún) más.

Tipología del peer-review

Scopus considera tres tipos principales de evaluación o peer-review (Ref5):

• Open: los autores conocen la identidad de los evaluadores, y los evaluadores conocen la identidad de los autores.
• Single: los evaluadores conocen la identidad de los autores, pero éstos no conocen la de los evaluadores.
• Double: los evaluadores ignoran la identidad de los autores, y éstos ignoran la identidad de los evaluadores.

Es interesante hacer notar a este respecto al menos dos cosas: la primera, que Scopus (Ref5) señala que las modalidades Open (evaluación abierta) y Single (simple ciego) deberían requerir al menos tres evaluadores; mientras que reduce el mínimo a dos en el caso de la modalidad Double (doble ciego).

El segundo aspecto de interés es que, junto a estas tres modalidades, contempla también la que denominan:

• Main editor peer review: las revisiones las llevan a cabo uno o dos editores de la revista.

A primera vista, «main editor peer review» no parece una forma de peer-review. Tal vez la cuestión queda más clara si volvemos a las categorías de evaluación (Tabla 1), y observamos que la Categoría que corresponde a Journal Policy, se indica que se tendrá en cuenta (entre otras cosas) el «tipo de revisión por pares» (Type of  peer review).

Es de suponer por tanto (pero no lo indica así expresamente la documentación que hemos examinado, es una inferencia nuestra) que son alguna(s) de las tres clases principales: Open, Single o Double las que deben tener presencia preferente para que una publicación sea aceptada, sin perjuicio de que una parte de los contenidos hayan sido objeto de una revisión tipo «Editor». Esto es habitual, por otro lado, ya que la mayor parte de las revistas académicas suelen tener una sección de artículos que «únicamente» superan revisión editorial (hemos puesto las comillas, porque en algunas revistas, la evaluación editorial es la responsable del 90 por ciento de las revisiones negativas).

La documentación de Scopus menciona también las nuevas formas de evaluación post-publicación (post-publication peer-review), es decir, aquellas en las que primero se publica el artículo y después se procede a su evaluación mediante alguno de los sistemas anteriores, aunque en tales casos, suele predominar la evaluación abierta (si se quiere ver un ejemplo, una publicación muy activa en este campo es F1000 Research).

Open Access

Este apartado, afortunadamente, lo resolveremos rápido, porque Scopus señala sin ninguna ambiguedad que el modelo de negocio no afecta a la inclusión de una publicación en su base de datos (Ref5):

All titles that meet the Scopus minimum journal selection criteria can be suggested for Scopus coverage, irrespective of the business model that is used for the journal.

Esto es, que sea una publicación cerrada (de pago), semi abierta o abierta, no influye en su aceptación. A continuación, señalan, para despejar cualquier duda, que Scopus da acceso a casi 3.000 publicaciones de tipo Open Access en su base de datos.

Proceso de evaluación

Como hemos señalado antes, las publicaciones que cumplan los requerimientos de inclusión pueden solicitar su evaluación (Ref2) mediante la cumplimentación de los datos e informaciones requeridos mediante un formulario online. A partir de aquí, los pasos son:

• El equipo de Scopus examina el formulario y, eventualmente, puede requerir informaciones adicionales.
• Una vez completada la fase de recolección de datos sobre la publicación candidata, se envían los mismos a uno de los responsables de las secciones temáticas de Scopus, quien a su vez puede solicitar nuevas informaciones.
• Una vez tomada una decisión, se traslada a los responsables de la publicación.

Conclusiones

Las publicaciones académicas pueden considerar la posibilidad de ser admitidas en repertorios y bases de datos, particularmente si desean incrementar su visibilidad y ofrecer así una mejor plataforma para sus autores. Considerar, en este caso, los criterios de Scopus es necesario, obviamente, para intentar esta opción, pero lo cierto es que tales criterios tienen sentido incluso en el caso de publicaciones que, por alguna razón, no la contemplen. El motivo es que son criterios que tienen sentido en sí mismos en cuanto ayudan a identificar las categorías en las que debe enfocarse un equipo editorial interesado en la calidad de su trabajo.

Por supuesto, esta síntesis de los 6 documentos que nos han parecido más significativos de Scopus no puede sustituir la lectura atenta de los mismos, de modo que debe considerarse únicamente una primera aproximación que esperamos sea útil a personas interesadas en general en el mundo de la publicación académica, por ejemplo, en aspectos de calidad. También puede servir a editores de revistas como una primera visión de lo que pueden esperar si optan por solicitar su inclusión en este tipo de base de datos.

Otras direcciones útiles

• Elsevier Publishing Ethics Resource Kit (PERK): http://www.elsevier.com/editors/perk
• Committee of Publication Ethics (COPE): http://publicationethics.org/