Revisiones de la literatura y scoping reviews: cómo diseñar y resolver la fase de búsqueda con Web of Science

El objetivo de esta entrada consiste en presentar la fase de búsqueda de una revisión de la literatura con aproximación sistemática utilizando como fuente una base de datos académica. En este caso, se trata de Web of Science (WoS). El escenario son las revisiones de la literatura preparadas como parte de tesis doctorales o trabajos de final de máster. Aunque la mayor parte de lo que se presentará tiene sentido también para trabajos de revisión autónomos.

Para ello, primero presentaremos un contexto de trabajo (una simulación) a fin de poder mostrar el proceso de un modo que sea compatible con PRISMA Searching, el framework que ayuda establecer la validez de esta fase en una revisión de la literatura con aproximación sistemática, como en una scoping review.

CONTEXTO DE TRABAJO (SIMULACIÓN)

Problema de investigación

Supongamos el siguiente problema de investigación:

• Dada su potencial relevancia, queremos determinar el alcance del llamado vídeo 360 o vídeo inmersivo aplicado al periodismo.
• Queremos determinar sus principales implicaciones, no tanto de tipo técnico, sino de tipo ético y social, incluyendo las que afectan a cuestiones como la credibilidad del periodismo, etc.
• También queremos detectar posibles oportunidades y huecos de investigación, ya sea para fases posteriores de nuestra propia investigación o porque deseamos hacer esta clase de contribución al progreso del ámbito.

Objetivos

• Llevar a cabo un trabajo de revisión, tipo scoping review. Se pretende llevar a cabo todo el proceso de forma sistemática y trazable y con garantías de validez interna y externa.
• Obtener resultados significativos capaces de aportar una síntesis que vaya más allá de la suma de las partes, ofreciendo así un resultado genuinamente novedoso y valioso con impacto académico y social.
• Detectar patrones y tendencias que ayuden a establecer líneas de actuación, recomendaciones, etc., así como ideas para futuras investigaciones.

Preguntas de investigación

• ¿Cuáles son los resultados más relevantes de las investigaciones recientes y cuales son las principales tendencias en el ámbito del periodismo inmersivo?
• ¿Qué líneas de actuación o recomendaciones pueden derivarse para los principales actores involucrados -empresas, periodistas, audiencias, público en general-?
• ¿Cuáles son los huecos y oportunidades de investigación?
• ¿Cuáles son los principales parámetros -autores, fuentes, áreas, etc.- que caracterizan a las publicaciones sobre periodismo inmersivo?

Palabras clave identificadas

• immersive
• 360 degree video
• telepresence
• virtual reality
• journalism
• news
• newspapers

Obsérvese que usamos términos en inglés porque el idioma de trabajo de la base de datos WoS es el inglés, dado que todos los artículos de revistas científicas deben incorporar título, resumen y palabras clave en este idioma para poder ser aceptadas e indexadas. Esto hace que, al usar términos en este idioma, podamos encontrar artículos escritos en cualquier otro. Dicho de otro modo, usar términos en inglés es la forma de encontrar artículos en todos los idiomas.

Ecuación de búsqueda prevista

• (immersive OR «360 degree video» OR telepresence OR «virtual reality») AND (journalism OR newspaper* OR news)

Observaciones:

• Las palabras clave compuestas se delimitan mediante comillas (como en «immersive journalism»).
• Las ecuaciones con más de un operador se pueden delimitar de forma precisa mediante el uso de paréntesis. Aunque si usamos el formulario, como se recomienda, de esto se ocupa el propio sistema.
• Para buscar variaciones de singular y plural, se puede usar un asterisco, como en newspaper* (aunque en algunas bases de datos, esto no es necesario).

El uso del formulario evita la necesidad de entender el uso detallado de operadores y paréntesis. Pero, aun así, es imprescindible entender el funcionamiento de algunos operadores de búsqueda básicos, como AND, OR y NOT, también llamados operadores booleanos.

Aquí tengo que hacer una observación importante: es casi imposible resolver la fase de búsqueda con validez sin conocer el uso de los operadores booleanos. Si el lector tiene dudas. le recomiendo encarecidamente estas dos entradas:

• Funcionamiento de los operadores booleanos
• Consistencia lógica y adecuación pragmática de las ecuaciones de búsqueda

Explicación de la ecuación

La función de la ecuación que hemos presentado más arriba es encontrar documentos que contengan la palabra clave central de la investigación: «immersive journalism». Sin embargo, por exploración previa, he podido determinar que el mismo concepto a veces se expresa mediante una combinación de expresiones como «vídeo 360», «inmersivo», «periodismo» y «noticias». Como en (son ejemplos inventados) «El video 360 en el periodismo de denuncia», o «El periodismo inmersivo y las noticias sobre derechos humanos», etc.

Por eso la ecuación contempla hasta seis palabras clave. Pero en realidad solo hay dos conceptos (con tres palabras cada uno). El operador OR suma los resultados de los sinónimos, mientras que el operador AND hace la intersección de los dos conceptos. Con más detalle:

• Primer componente de la ecuación: [immersive OR «360 degree video» OR telepresence OR «virtual reality»] sirve para formar un solo conjunto con los documentos que tengan una o varias de estas cuatro expresiones.
• Segundo componente de la ecuación: [journalism OR newspaper* OR news] sirve para crear un solo conjunto con los documentos que tengan alguna de las palabras clave indicadas.
• Elemento central: el operador AND hace una intersección de los dos conjuntos previos, y selecciona aquellos que pertenecen a la vez a los dos conjuntos. De este modo, p.e, un documento que tenga la palabra «immersive» más la palabras «journalism» formará parte de la página de resultados, y así con las demás posibilidades.

La razón de todo esto es que diferentes autores que hayan publicado sobre el tema de nuestro interés. pueden usar diferentes formas de referirse al mismo. La mayoría posiblemente, usará «immersive journalism», pero también habrá algunas publicaciones con variaciones como «360 degree video» y «news», etc. En teoría, con el juego de seis términos que hemos usado cubrimos la mayoría sino todas las publicaciones pero sin pruebas adicionales no podemos asegurarlo.

Asegurar el acierto de la ecuación

La ecuación presentada es plausible, pero con pruebas adicionales es posible que se pueda mejorar si encontrásemos aún algún sinónimo que ahora se nos haya pasado por alto. En mi caso, la verdad es que una variación con solo dos sinónimos (en lugar de tres como ahora) daba los mismos resultados. Pero claro, esto no es posible saberlo sin hacer pruebas. Además, no sabemos si en el futuro, esta variación de seis términos en total puede dar más resultados que la de cuatro, aunque ahora no sea así. En todo caso, la forma más fácil de comprobar que ya tenemos los sinónimos necesarios es por examen de los resultados. En concreto, revisando los resúmenes y las palabras clave de cuatro o cinco referencias muy relevantes (p.e. las cinco más citadas). Una vez que tenemos una ecuación candidata, además podemos aplicar un procedimiento de peer review mediante la consulta a uno o dos colegas expertos. Esta consulta es parte del diseño de la búsqueda, como propone de forma expresa el framework PRISMA Searching. Un colega al que pidamos una revisión puede detectar otros problemas, p.e., con el uso de operadores, o con la elección de la(s) fuente(s). Si no estamos muy seguros de nuestra capacidad en todo esto, diría que es casi obligatorio hacer estas consultas, o bien a un colega o a un experto de la biblioteca.

Criterios de inclusión y exclusión

• Fuente: base de datos Web of Science. Es una fuente estándar, utilizada en numerosas revisiones de la literatura, en especial de aproximación sistemática, como en una scoping review, debido tanto a su prestigio como a la amplia cobertura temática y geográfica de su base de datos. No obstante, podría utilizarse otra base de datos como Scopus, por parecidas razones, o incluso otras como Communication Source, si buscamos una fuente muy específica en lugar de muy amplia. También podemos combinar más de una fuente, p.e. Scopus + Web of Science (o las tres mencionadas) si disponemos del tiempo y los recursos necesarios. Al final, como en otras metodologías, depende de cada proyecto justificar la racionalidad y adecuación de las fuentes utilizadas.
• Rango de fechas: resultados de los últimos 6 años. Este es un estándar de facto, que seguramente es válido para muchos casos. Pero el rango de fechas concreto puede ser más estrecho o más amplio, según los objetivos y las características concretas de cada proyecto.
• Tipo de documento: artículos de revistas científicas, ya que buscamos resultados de investigación que hayan sido evaluados mediante peer review (por tanto, dejamos fuera capítulos de libro, reseñas de libros y comunicaciones a congresos). De nuevo, hay que señalar que es cada proyecto concreto el que fija sus requerimientos también en este punto.
• Campos: hay dos opciones principales, La primera consiste en buscar indistintamente en el título, el resumen y las palabras clave de la referencia. La segunda, buscar solo en el título. Para búsquedas con temas muy bien delimitados, como en este caso, puede dar mejores resultados la segunda opción. En general, si los resultados son demasiado limitados, puede optarse por la primera de las opciones. En cambio, si los resultados son demasiado amplios (con el ruido correspondiente) puede usarse la segunda de las opciones.
• Idiomas: artículos en inglés, más los idiomas que conozcan los autores de la revisión, p.e, español, catalán, francés, etc., o en inglés más los idiomas que exija, si es el caso, el tema de la investigación.

DESARROLLO DE LA BÚSQUEDA

La estructura de WoS

Web of Science suele ser considerada una base de datos, pero llamarla así no es del todo exacto. WoS en realidad está formada por varias bases de datos, y alguna de estas bases de datos está formada a su vez por varias por sub-bases de datos, que WoS denomina Índices. La estructura de WoS por tanto es la siguiente:

• WOS
  • Bases de datos
    • Índices

Normalmente, necesitaremos utilizar algunos de estos índices, y no todo el conjunto de bases de datos, y ni siquiera el conjunto de índices de una misma base de datos. Después de un paso 0 que consiste en iniciar sesión, mostraremos en el paso 1 como seleccionar los índices que necesitaremos utilizar en nuestra búsqueda.

Paso 0: acceder a Web of Science e iniciar sesión

Aunque sea elemental, déjenme poner como paso cero el acceso a WoS (normalmente, a través de la intranet o del portal web del CRAI/Biblioteca de una universidad o centro de investigación) y el inicio de sesión. Esto es de cajón, pero me sirve para recomendar que no usemos nunca WoS de forma anónima (cosa posible si accedemos desde un ordenador con una IP reconocida por WoS). La recomendación es hacerlo siempre después de un inicio de sesión, esto es, entrando con nuestro perfil. Si no tenemos cuenta, aprovechamos para crearla.

La captura muestra el nombre del usuario (casualmente este autor), es decir, que la captura muestra que se ha iniciado sesión y de este modo tengo una opción de menú: Saved Searches and Alerts, que solo puede ser utilizada previo inicio de sesión. Hay otras opciones, una vez en la página de resultados, que van a requerir el inicio de sesión para poder ser utilizadas, entre ellas, guardar búsquedas que pueden haber necesitado horas de ensayo y error.

Paso 1: seleccionar las bases de datos

1.1. Seleccionar la Core Collection

Salvo casos muy específicos, en general, en ciencias sociales y humanidades usaremos la base de datos denominada Web of Science Core Collection o Colección principal, y el nombre no es casual. Es la que tiene mayor alcance temático y geográfico y la que presenta más opciones.

Es la que, además, incluye las revistas que son evaluadas por WoS antes de ser aceptadas y son re-examinadas periódicamente. Incluye revistas que también pueden estar en las otras bases de datos, p.e., revistas que también están en Medline o en Scielo, etc., si son revistas evaluadas, etc. En todo caso, insisto en que para ciencias sociales y humanidades enfocar las búsquedas en la Core Collection es mucho mejor que lanzar las búsquedas en todas las bases de datos a la vez. Esta última opción no solo limita las funcionalidades de WoS sino que arroja mucho ruido en el caso de las ciencias sociales y las humanidades.

1.2. Seleccionar los índices

Una vez hemos seleccionado la Core Collection, ya podemos trabajar con WoS, pero en la mayor parte de los casos, podemos ajustar un poco más y limitar la búsqueda a los siguientes índices, ya que la Core Collection incluye diversas sub-bases o índices:

1. Science Citation Index (SCI)
2. Social Science Citation Index (SSCI)
3. Arts & Humanities Citation Index (AHCI)
4. Emerging Sources Citation Index (ESCI)

En realidad, para estudios de ciencias sociales y humanidades, podríamos usar solamente los índices SSCI, AHCI y ESCI. Pero en casos como el de esta simulación, es muy posible que revistas de ingeniería o de computación hayan publicado investigaciones que nos pueden interesar si incluyen aspectos sociales.

Para esta simulación hemos dejado fuera las comunicaciones de congresos y los capítulos de libro. En algunas revisiones nos podrían interesar las primeras, mientras que los capítulos de libro son un caso menos frecuente en revisiones de la literatura. Por supuesto se podrían incorporar si el proyecto lo justifica. En su contra, tienen una mayor casuística en su contenido, pueden ser trabajos de divulgación y no de investigación, y en general, son mucho menos accesibles que los artículos de revista a menos que se tenga un buen presupuesto económico detrás.

En general, se considera que los avances y resultados de investigación de una disciplina se comunican mediante artículos de revistas científicas. Por eso, una de las opciones habituales en las revisiones de la literatura de tipo sistemático es limitar el tipo de documentos al de artículos de revistas científicas.

Paso 2: ejecutar la búsqueda

Recordemos la ecuación de búsqueda, representada ahora en dos filas para mejorar la explicación del formulario:

• (immersive OR «360 degree video» OR telepresence OR «virtual reality»)
• AND (journalism OR newspaper* OR news)

En la captura precedentes podemos ver cómo trasladar la ecuación de búsqueda al formulario. He usado dos filas, una para el primer concepto y otra para el segundo, y he combinado cada concepto y sus respectivos sinónimos mediante un AND.

En concreto: he usado cada una de las filas (se pueden añadir i quitar con los botones laterales) para representar cada uno de los dos conceptos:

• Primera fila: he representado el video inmersivo con cuatro sinónimos documentales (immersive + «360 degree video» + telepresence + «virtual reality») unidos con un OR.
• Segunda fila: el concepto de periodismo en este caso, se ha representado con otros tres sinónimos documentales (journalism + newspaper* + news) unidos también con un OR.
• Operador AND: con un AND se cruzan (intersección es el nombre técnico) los dos conceptos, esto es, las dos filas. Solo aquellos documentos que tengan al menos uno de los sinónimos de la primera fila y al menos uno de los sinónimos de la segunda fila, serán considerados documentos relevantes y presentados en la página de resultados.

Véase que también hemos delimitado los resultados a los últimos 6 años. Como curiosidad, hemos puesto hasta el final del año (estamos en julio) porque el online first hace que algunos artículos tengan fechas que se avanzan en el futuro algunos meses.

Paso 3: verificar la página de resultados

Una vez lanzada la búsqueda, corresponde como es lógico verificar que la ecuación de búsqueda proporciona resultados relevantes. También hemos de comprobar que la búsqueda proporcione un número manejable de documentos. Vemos que la búsqueda arroja 44 resultados. La verdad es que se trata de un buen número. Posiblemente, decaigan algunos pocos resultados si hay falsos positivos, pero también puede verse la necesidad de añadir referencias adicionales si encontramos algunas referencias muy citadas por los trabajos analizados, etc. Al final, de este modo, el número final seguirá casi seguro cercano a los 50, un poco por arriba o por abajo.

¿Demasiados resultados o demasiado pocos?

Pocos resultados, digamos por debajo de 10, producirá revisiones de la literatura que pueden ser poco significativas en el caso de las scoping reviews (en cambio, en la revisión de intervenciones puede ser suficiente). Por otro lado, muchos resultados, digamos 100 pueden requerir unos recursos de los que, en según qué caso, no dispondremos.

Demasiados resultados, o demasiado pocos, puede exigir ampliar o refinar criterios. En el caso de demasiados resultados en una búsqueda como la del ejemplo, podrían limitarse los resultados a revistas de ciencias sociales (excluimos las ingenierías, p.e.) ya que nos interesan los efectos sociales y no los aspectos técnicos.

Si aún así no fuera suficiente, tal vez tendríamos que acotar nuestra pregunta de investigación. Por ejemplo, a la investigación del vídeo inmersivo y periodismo podríamos añadir los derechos humanos. Además de un criterio de acotación daría sin duda una excelente investigación, gracias precisamente a la necesidad que hemos tenido de añadir esta dimensión.

Lo que nunca podemos hacer es limitar de forma arbitraria la base de la evidencia. Debemos encontrar, por el contrario, una pregunta de investigación o unos objetivos que posean interés y racionalidad intrínseca para justificar esta acotación, ya sea para ampliar o para restringir resultados.

¿Hay un número ideal?

Nos podemos preguntar si hay un rango ideal para el banco de documentos final (no del resultado inicial de la búsqueda, puesto que siempre sufre reducciones) para el caso de un trabajo académico tal como una tesis doctoral o un trabajo de final de máster. En ambos casos podemos imaginar la scoping review como una de las fases de la investigación, y como recursos humanos tenemos al autor del trabajo, con la supervisión de su tutor o directores, en el caso de una tesis, o un pequeño equipo de varios autores (2-3, p.e.) en el caso de un artículo científico. En este escenario, es donde donde suele tener sentido el rango de entre 30 y 60 documentos para generar trabajos de mucha calidad. Pero véase que establecer cifras rígidas, aparte de las características de cada proyecto concreto, carece de sentido. La inspección de diversas scoping reviews de éxito, muestra suficiente dispersión en los valores como para pretender tal cosa.

Valores muy altos

Si la fase de búsqueda entrega números muy altos que no se pueden reducir por criterios de inclusión/exclusión, entonces se puede admitir algún tipo de muestreo. Ejemplos pueden ser seleccionar los estudios más citados. También he visto investigaciones publicadas en revistas de prestigio en las que, lo que han hecho los autores, ha sido limitar la base de la evidencia a resultados que se hayan publicado en las revistas más influyentes del ámbito. En este caso, se necesitarían al menos dos, y he visto casos de revisiones de la literatura de una enorme calidad donde se ha estudiado la producción de las cinco revistas principales de un área, etc.

Otra posibilidad con números muy grandes es aplicar análisis automáticos. Esto, por supuesto también produce resultados interesantes, pero distintos de los que cabe esperar de una scoping review, pues hay que renunciar a formas de extracción de datos que impliquen leer e interpretar intelectualmente las investigaciones. En su lugar, el trabajo de revisión se puede centrar en aspectos estadísticos. Interesantes sin ninguna duda, pero distinto de la clase de inteligencia que aporta una scoping review.

Recursos disponibles

Al final, es una cuestión de recursos disponibles. ¿Tenemos 18 meses para llevar a cabo el trabajo de revisión o tenemos «solo» 6 meses? ¿La revisión la lleva el doctorando con la supervisión de uno o dos tutores o tenemos un equipo de varias personas? ¿La revisión es una parte de la investigación o la totalidad del trabajo académico consiste en un trabajo de revisión?

Es evidente que según se responda a las preguntas anteriores, el rango deberá mantenerse cerca e la parte media del rango o puede alejarse bastante. En medicina se trabaja con rangos muy amplios, ya que estudios con 4 o 5 resultados se admiten, mientras que en otros casos se usan cientos de resultados. En este último caso hablamos de revisiones sistemáticas que pueden durar más de un año, con equipos de analistas y que manejan presupuestos con decenas de miles de euros.

Pero estas no son las condiciones habituales en ciencias sociales y humanidades y menos en el escenario de desarrollo de una tesis doctoral o de un trabajo académico similar. Entonces no deben sorprendernos estas limitaciones pragmáticas porque son las mismas que tenemos con cualquier otro método de investigación. Por ejemplo, en investigaciones que se basan en entrevistas, ya sean semi estructuradas o en profundidad (no en encuestas), los rangos suelen moverse entre 20 y 30 participantes. En los focus group se suele pensar en dos o tres sesiones con unos 10-12 participantes en cada una, etc.

La cuestión es que las revisiones de la literatura del tipo de las scoping review no son diferentes en este sentido a cualquier otra metodología basada en la necesidad de una extracción de datos con un fuerte componente de análisis intelectual. Sería milagroso que las limitaciones que afectan a otras metodologías altamente acreditadas no afectaran también a las revisiones de la literatura.

Embudo de conversión

Hay que tener en cuenta que la cifra inicial de resultados obtenidos no siempre es un indicador preciso del número final de documentos que formarán parte de la base de la evidencia (o banco de documentos). Algunas ecuaciones de búsqueda pueden arrojar resultados de varios cientos de documentos, pero debido a la naturaleza de las palabras claves (si incluyen términos ambivalentes), tal vez la fase de evaluación (que recordemos se hace con base en el título y el resumen) puede reducir el número final en unas decenas.

Es una situación bastante habitual que puede constarse en artículos que reportan revisiones sistemáticas. He visto trabajos de revisión que han superado evaluación por pares de revistas muy exigentes, que parten de varios cientos de documentos obtenidos por la búsqueda, y después del embudo de conversión quedan en muy pocas decenas.

Todo depende de los criterios de inclusión y exclusión. Por ejemplo, imaginemos un trabajo de revisión sobre desinformación en alguna red social. Tal vez, los criterios de inclusión y exclusión, en función del diseño de la investigación, exige que los artículos incluyan resultados con poblaciones determinadas (adolescentes, adultos, personas jubiladas, trabajadores, desempleados, etc.). Podría ser que la ecuación de búsqueda arroje cientos de resultados, pero la fase de evaluación debe determinar si en los artículos se mencionan estudios con poblaciones determinadas, y en otro caso, el trabajo se puede excluir, etc. Esto sin duda impondrá un embudo de conversión muy acusado.

Alguien puede pensar: pues se añade el término «población» a la ecuación y listos. Pero esto sería muy peligroso, puede provocar no solo ruido, sino sobre todo silencio. En estos casos, lo más seguro en hacer una ecuación temática y luego evaluar con los criterios de inclusión y exclusión en la mano. Como se hace sobre título y resumen, es fácil avaluar así varios cientos de referencias.

Dejamos esta discusión aquí para poder seguir avanzando en la fase de búsqueda. Ahora nos corresponde considerar algunas acciones relacionadas con el examen de las referencias.

Paso 4: acciones adicionales

4.1. Consultar las fichas de los documentos

Las fichas (registros) de cada referencia son de una enorme riqueza. Además de datos muy completos sobre el artículo tenemos datos de descubrimiento (formas de búsqueda en las que no usamos palabras clave) como he intentado mostrar en la captura.

4.2. Acciones disponibles en la página de resultados

En la página de resultados podemos usar ordenaciones que pueden dar ideas para el análisis o el cribado de datos. Podría ser que en un trabajo de revisión queramos analizar los n artículos más citados en un ámbito, y para eso disponemos de esa opción de ordenación, entre otras muchas. También podemos analizar los resultados, analizar las citas, etc.

EVALUACIÓN Y
FORMACIÓN DEL BANCO DE DOCUMENTOS

Cuando se consigue una ecuación de búsqueda (o un grupo de ecuaciones) que proporcionan el resultado que buscamos, corresponde llevar a cabo algunas actividades adicionales para poder formar la base de la evidencia o banco de documentos. Se trata de las siguientes:

• Registrar el primer resultado: debemos anotar la fecha de realización de la búsqueda, la fuente, y el número total de documentos encontrados.
• Primera evaluación, con dos componentes:
  • Examen, uno a uno, de las referencias de la página de resultados a fin de proceder así a una primera evaluación que se lleva a cabo leyendo el título y el resumen. Se necesita para confirmar que cada referencia tiene como tema central o al menos como uno de sus temas principales al periodismo inmersivo. De lo contrario, debe ser considerada un falso positivo y descartada.
  • Anotación del número de resultados una vez descartados falsos positivos.
• Obtención de los documentos: ya podemos proceder a descargar los documentos completos y guardarlos y en su caso (muy recomendable) registrar sus referencias con ayuda de un gestor como Mendeley o Zotero (o cualquier otro). Esta fase también requiere cuidado y dedicación. La obtención de documentos siempre presenta casuística. Típicamente, entre documentos de revistas open access y de revistas que tiene suscritas la universidad, conseguiremos a mayoría (digamos el 90 por ciento). Pero suele haber unos pocos casos en los que la obtención del documento se resista. Puede ser por cualquier razón. En una ocasión nos ha pasado que en la propia sede la revista el enlace estaba roto (esto dice muy poco de la revista, pero eso es otra cuestión). O puede ser una revista de la que no tenemos suscripción en nuestra universidad. En los casos hemos de agotar posibilidades, en el caso del enlace roto, podemos escribir a la revista o al autor, siempre que podamos recurriremos al préstamo interbibliotecario, así como a la búsqueda en Internet (por si el autor ha depositado una copia en su sitio web o en repositorios abiertos). Si aún así, después de todas estas medidas, resulta imposible de obtener algún documento, debemos dar de baja la referencia del banco de documentos y consignar esta circunstancia como parte de la documentación del proceso.
• Segunda evaluación:
  • Una vez descartados los falsos positivos en la primera evaluación, ahora podemos aplicar un criterio de calidad con los documentos completos. Lo primero que podemos verificar es que reportan resultados de investigación. Podemos verificar esta circunstancia por la presencia de una estructura IMRyD o similar. Los documentos que no constituyan reportes de investigación o que no mencionan ninguna metodología podemos descartarlos. Pero esto es una evaluación estándar. Puede haber revisiones que, por diseño expreso, decidan obviar esta clase de evaluaciones de calidad. Otros criterios de calidad vendrán siempre de la mano, en su caso, del proyecto concreto.
• Registrar el número final de resultados que se han descartado alguno de los documentos en esta segunda ronda de evaluaciones.

El banco de documentos

Los documentos que quedan después de la segunda evaluación son los que, en principio, constituyen el banco de documentos, o la base de la evidencia para nuestra revisión. Pero el número final aún puede sufrir variaciones por estos motivos:

• Bajas. En la fase de extracción de datos (análisis) la necesidad de volver a revisar los documentos completos con mayor atención puede hacer que descartemos todavía alguno más. Si es así, de nuevo se debe documentar con todo detalle el número y motivo de la exclusión
• Altas. Podemos encontrar algunos trabajos que no forman parte de nuestro banco de documentos y que sin embargo han sido repetidamente citadas. Si se trata de un trabajo que además es central al tema de la revisión, podemos añadirlo, siempre que se ajuste al resto de criterios de inclusión y exclusión. Una cosa que siempre podemos hacer es incorporar este tipo de trabajos, si al final no los podemos incluir en el banco de documentos, al marco teórico o a la discusión.

El reporte completo

Aquí solo tratamos el proceso por el cual, usando una base de datos como Web of Science, podemos obtener la base de la evidencia para un trabajo de revisión. Pero esto solo son las dos primeras fases (marcadas en negrita) de un trabajo de revisión si se aplica el framework SALSA que establece cuatro en total:

• Search
• AppraisaL
• Synthesis
• Analysis

Por lo tanto, después vendrá la fase de extracción de información(Analysis) para lo cual necesitaremos esquemas de análisis para hacer un trabajo sistemático, lo que irá produciendo una serie de resultados, que deberemos organizar y fusionar en la penúltima fase de la revisión, la síntesis.

En una revisión del tipo de las scoping reviews, la síntesis suele consistir en tablas, diagramas y alguna forma más o menos estructurada de síntesis narrativa, en la que se presentan temas o tendencias más importantes detectados, recomendaciones, buenas prácticas, etc., así como los posibles huecos de investigación. Es muy importante que esta síntesis no sea solamente una agregación sino que sea interpretativa y configurativa. Es, en pocas palabras, muy importante que la síntesis sea algo más que la suma de las partes.

La última fase consiste en elaborar el reporte completo, uniendo todas las piezas anteriores y añadiendo los componentes hasta lograr un reporte de investigación convencional formado por la estructura IMRyD: Introducción, Métodos, Resultados y Discusión.

Ubicación de la revisión

Nos queda considerar dónde se ubica este tipo de reportes de revisión de la literatura. Hay varias posibilidades:

• Puede consistir en una de las partes sustanciales de un trabajo académico. Puede presentarse como uno de los estados de la cuestión de una tesis o de un trabajo final de máster. Pero también de una memoria para solicitar financiación para un nuevo proyecto de investigación.
• Puede ser un informe autónomo, y puede ser publicado como tal, tal vez como uno de los resultados o entregables de un proyecto de investigación. Los proyectos financiados con fondos públicos exigen que los resultados se publiquen de modo abierto. Si el trabajo de revisión contiene recomendaciones, buenas prácticas, etc., puede ser perfectamente uno de los resultados autónomos, y por tanto uno de los entregables del proyecto por su doble impacto académico y social.
• Puede generar un artículo de investigación para una revista académica. Esto es así especialmente, si la revisión se ha llevado a cabo mediante aproximación sistemática, como una scoping review aplicando frameworks como PRISMA. En este caso, cabe distinguir entre el reporte completo del trabajo de revisión, que puede ocupar varias decenas de páginas, con el conjunto de los datasets, etc., y el manuscrito derivado del informe completo, que tendrá que ajustarse a la extensión máxima de la revista a la que se pretenda enviar.

Funciones de la revisión

En lo anterior, hemos considerado sus posibles ubicaciones. En este apartado, queremos recordar las cuatro funciones más importantes de un trabajo de revisión desarrollado mediante aproximaciones sistemáticas:

• Cognitiva: aportar a su autores la comprensión conceptual e intelectual de los avances más importantes previos en el ámbito en el van a desarrollar su trabajo, incluyendo las oportunidades de investigación, y todo esto de una forma razonablemente libre de sesgos.
• Científica: apoyar de una forma decisiva el diseño de una investigación aportando los elementos principales para el marco teórico y los fundamentos operativos para el marco metodológico.
• Operativa: apoyar la redacción de la memoria de un nuevo proyecto de investigación para el que se solicitará financiación, demostrando a la agencia evaluadora su conocimiento completo y adecuado del ámbito para el que solicitan financiación.
• Curricular: los trabajos de revisión son aportaciones curriculares netas en el perfil de cualquier investigador, pero en el caso de un autor predoctoral, es la forma más eficiente para adquirir habilidades para tratar con información científica, así como para desarrollar sus competencias en el análisis y la síntesis de datos científicos.

Fundamento

El fundamento de todo lo anterior es sencillo: la ciencia es un proceso acumulativo que evita que cada generación deba reinventar la rueda. Se trata de los famosos «hombros de gigante» de los que nos habló Newton. Las revisiones de la literatura con aproximación sistemática, simplemente honran de modo especial este potente principio.

Bonus: un avance sobre la base de datos Scopus

Próximamente, prepararemos una simulación parecida para mostrar el caso de Scopus y la forma de usar esta otra importantísima base de datos, quizás más significativa para ciencias sociales y humanidades que WoS, por su mayor cobertura relativa de estas disciplinas. Aunque cabe celebrar las mejoras constantes de WoS en casi todas las áreas, parece que aún hay un diferencial cuantitativo a favor de Scopus:

Vemos que la misma búsqueda en Scopus aporta un total de 51 referencias, en lugar de 44. No es una enorme diferencia, pero ahí esta. Para intentar clonar la búsqueda, hemos usado la misma ecuación, y una vez en la página de resultados hemos limitado los mismos al caso de artículos.

Entonces, ¿es mejor usar WoS o Scopus? Lo mejor, sin duda, es usar ambas. Lo mejor es que no hay que pensar en que usar dos bases de datos (en lugar de una) dobla los resultados, porque hay un alto solapamiento entre ambas. O sea, si en WoS tenemos 44 y en Scopus 51, lo que es seguro es que usar las dos bases de datos no supondrá manejar 95 documentos (suma aritmética), ni mucho menos.

En general, Scopus cuenta con un mayor número de revistas en ciencias sociales y humanidades, por tanto, para estos ámbitos se puede justificar un poco mejor que sea la fuente única. Pero WoS aún es percibida en muchos entornos como la base de datos académica de referencia, lo que hace que usar «solamente» WoS no necesite justificación. Además, de nuevo debo decir que en los últimos años WoS está mejorando muchísimo su cobertura de las ciencias sociales y humanidades.

En síntesis: dado que siempre podemos estar en la situación de limitar recursos, usar cualquiera de las dos de forma única también está justificado. Al menos, hay numerosas systematic reviews que así lo hacen. Scopus y WoS tienen coberturas amplísimas tanto temáticas como geográficas, y ambas llevan a cabo controles regulares de calidad de las publicaciones que indexan.

Conclusiones

He presentado una simulación realista de la fase de búsqueda para una revisión de la literatura de tipo scoping review, o sea, de aproximación sistematizada.

También he aislado la fase de búsqueda para presentarla con cierto detalle, pero he mostrado además el diseño previo o la parte del protocolo previo que incluye cuestiones tales como el problema de investigación, los objetivos y las preguntas de investigación, así como el establecimiento de las fuentes, la ecuación de búsqueda y los criterios de inclusión y exclusión.

ANEXOS

Explicación del diagrama

Los dos puntos principales:

• Vemos en el diagrama que la fase de búsqueda genera un protocolo (aunque se podría decir al revés). En este protocolo hemos establecido unos objetivos y unas preguntas de investigación, así como señala la(s) fuente(s), las ecuaciones de búsqueda y unos criterios de inclusión y exclusión.
• También vemos que el protocolo influencia directamente las fases que en el diagrama quedan unidas con las flechas correspondientes que salen de la caja del protocolo. Finalmente, las cuatro subfases principales: Fuentes > Ecuaciones > Resultados > Evaluación, las vemos encadenadas de forma secuencial, y al final generan un conjunto de documentos, que aportan la base de la evidencia.

Número de documentos examinados en una muestra de scoping reviews

En una cata rápida (no sistemática) hecha con la base de datos Scopus, revisé la dimensión de n (tamaño del banco de documentos) de los artículos más citados que tenían la palabra «scoping review» en el título y estaban categorizados bajo Ciencias Sociales. Busqué artículos desde 2017. Como quería hacer una cata rápida, lo que hice fue examinar el resumen de los artículos una vez ordenados por número de citaciones. Fui revisando abstracts y anotando el valor de n cuando el resumen lo mencionaba. La idea era verificar el valor de n en 10 artículos de este modo. Cuando algún artículo no daba el valor de n en el abstract, pasaba al siguiente. Al llegar al artículo número 24, ya tuvo la lista de los valores de n de 10 de los artículos más citados y eran los siguientes:

• 128
• 42
• 159
• 50
• 28
• 23
• 65
• 20
• 46
• 36

No es una muestra con significación estadística, ni falta que hace para lo que pretendo. Por eso digo que es una cata. Los artículos examinados eran todos muy influyentes. El que menos (el número 24 de la lista), había recibido 57 citas, y el que más (el número 1 de la lista), 490. La media del valor de n en esta cata es exactamente de 59,7 artículos. Pero lo importante en realidad es la dispersión con valores de 128 y 159 en un extremo, y de 20 y 23 en el otro. Con 7 de ellos con un valor n igual o menor a 50. En la medida en que se trata de investigaciones importantes por su influencia, los datos aunque no tengan significación estadística, son clarificadores para lo que pretendemos ahora. Muestran que trabajos de calidad, al menos si consideramos esta por su capacidad de influencia, se mueven claramente en el rango señalado (30-60).

Obsérvese que no estoy diciendo que el 70 por ciento de las scoping review se mueven en ese rango. No lo digo porque no lo sé. Tampoco digo que una scoping review debe moverse en ese rango, porque el tamaño concreto de n debe decirlo cada proyecto concreto. Digo que trabajos que se mueven en ese rango pueden dar artículos científicos de calidad suficiente como para superar procesos de peer review de revistas de impacto y para recibir decenas o centenares de citas.

Punto de saturación

Esto es muy especulativo y por eso lo llevo a los anexos. Un tema interesante, del que creo que no tenemos datos es de si en el caso de las scoping reviews existe algo parecido al punto de saturación (data saturation). Recordemos que la idea del punto de saturación procede de la grounded theory. Consiste en lo siguiente: llega un momento en que añadir más personas entrevistadas no consigue añadir temas nuevos a la investigación (en Saunders et al. 2018 hay una discusión más sofisticada). Algunos tratados de metodología señalan que resultados empíricos parecen demostrar que el punto de saturación suele estar entre los 20 y los 30 entrevistados.

La cuestión es: ¿son comparables los contenidos que revelan unas entrevistas a los contenidos que revelan una investigación? ¿A partir de n documentos, añadir más documentos a la revisión ya no aporta elementos nuevos? ¿Existe tal cosa como un punto de saturación en las scoping reviews?

Aquí no tengo respuestas definitivas, solo algunas intuiciones. De existir el punto de saturación en las scoping reviews, mi experiencia dice que el rango debe ser más amplio que en el caso de las entrevistas, y debe más entre los 30 y 60 casos que ya ha salido varias veces. Lo que complica la cuestión es que, además de la dimensión temática, que es la que se satura (si es que se satura) hay otros datos que tienen sentido en sí mismo, como cuando en una revisión existe interés en examinar las características estructurales de, por ejemplo, una década de investigaciones en un ámbito… En fin, tema totalmente especulativo para seguirlo con calma.

Referencias

• Arksey, H.; O’Malley, L. (2005). «Scoping Studies: Towards a Methodological Framework». Int. J. Social Research Methodology 8:1, 19-32,
  DOI: 10.1080/1364557032000119616 | Versión de repositorio
• Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
• Codina Lluís (2020a). “Revisiones bibliográficas sistematizadas en Ciencias Humanas y Sociales. 1: Fundamentos”. En: Lopezosa C, Díaz-Noci J, Codina L, editores Methodos Anuario de Métodos de Investigación en Comunicación Social, 1. Barcelona: Universitat Pompeu Fabra; 2020. p. 50-60.
  DOI: 10.31009/methodos.2020.i01.05
• Codina Lluís (2020b). “Revisiones sistematizadas en Ciencias Humanas y Sociales. 2: Búsqueda y Evaluación”. En: Lopezosa C, Díaz-Noci J, Codina L, editores Methodos Anuario de Métodos de Investigación en Comunicación Social, 1. Barcelona: Universitat Pompeu Fabra; 2020. p. 61-72.
  DOI: 10.31009/methodos.2020.i01.06
• Codina Lluís (2020c). “Revisiones sistematizadas en Ciencias Humanas y Sociales. 3: Análisis y Síntesis de la información cualitativa”. En: Lopezosa C, Díaz-Noci J, Codina L, editores Methodos Anuario de Métodos de Investigación en Comunicación Social, 1. Barcelona: Universitat Pompeu Fabra; 2020. p. 73-87.
  DOI: 10.31009/methodos.2020.i01.07
• Codina, Lluís; Lopezosa, Carlos; Freixa, Pere (2022). Scoping reviews en trabajos académicos en comunicación: frameworks y fuentes. En: Larrondo Ureta, Ainara; Meso Ayerdi, Koldo; Peña Fernández, Simón. Información y Big Data en el sistema híbrido de medios. Bilbao: Servicio Editorial de la Universidad del País Vasco. ISBN: 978-84-1319-412-7. Acceso: https://www.lluiscodina.com/wp-content/uploads/2022/05/scoping-reviews-comunicacion.pdf
• Fernández-Sánchez, H.; King, K.; Enríquez-Hernandez, C.B (2020). «Revisiones Sistemáticas Exploratorias como metodología para la síntesis del conocimiento científico». Enfermería Universitaria · Vol.17 · Núm 1 · Enero-Marzo
• Grant, Maria J.; Booth, Andrew. «A typology of reviews: an analysis of 14 review types and associated methodologies». Health Information and Libraries Journal, 26, pp.91–108, 2009.
  DOI: 10.1111/j.1471-1842.2009.00848.x
• Lopezosa C.; Codina L.; Fernández-Planells A.; Freixa P. (2021). Journalistic innovation: How new formats of digital journalism are perceived in the academic literature. Journalism. doi:10.1177/14648849211033434
• Manchado, R.; Tamames, S.; López-González, M.;Mohedano, L.; DÁgostino, M.; Veiga, J. (2009). «Revisiones Sistemáticas Exploratorias». Med Segur Trab (Internet) 55 (216): 12-19)
• Mengist, W.; Soromessa, T.; Legese, G. (2020). «Method for conducting systematic literature review and meta-analysis for environmental science research». MethodsX, 7 DOI: 10.1016/j.mex.2019.100777
• Munn, Z.; Peters, M.; Stern, C.; Tufanaru, C.; McArthur, A.; Aromataris, E. (2018). «Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach». BMC Medical Research Methodology. https://doi.org/10.1186/s12874-018-0611-x
• Peters, M.; Godfrey C.; Khalil, H.; McInerney, P; Parker, D.; Soares, C. (2015). «Guidance for conducting systematic scoping reviews». International Journal of Evidence-Based Healthcare: September 2015 – Volume 13 – Issue 3 – p 141-146.
  doi: 10.1097/XEB.0000000000000050
• Peters, M.; Marnie, C.; Tricco, A.; Pollock, D.; Munn, Z.; Alexander, L.; McInerney, P.; Godfrey, C.; Khalil, H.  (2020). «Updated methodological guidance for the conduct of scoping reviews».JBI Evidence Synthesis: October 2020 – Volume 18 – Issue 10 – p 2119-2126 doi: 10.11124/JBIES-20-00167
• Saunders B, Sim J, Kingstone T, Baker S, Waterfield J, Bartlam B, Burroughs H, Jinks C. (2018). Saturation in qualitative research: exploring its conceptualization and operationalization. Qual Quant. 2018;52(4):1893-1907. doi: 10.1007/s11135-017-0574-8
• TriccoA.; Zarin, W.; Ghassemi, M.; Nincic, V.; Lillie, E.; Page, M.; Shamseer, L.; Antony, J.; Rios, P.; Hwee, J. Angeliki, A., Moher, D.; Hartling, L.; Pham; B.; Straus; S. (2017). «Same family, different species: methodological conduct and quality varies according to purpose for five types of knowledge synthesis» Journal of Clinical Epidemiology, Volume 96, 133 – 142. https://doi.org/10.1016/j.jclinepi.2017.10.014
• Tricco, A.;   Lillie, E.;  Zarin, W.;   O’Brien, K.; Colquhoun, H.; Levac, D.; Moher , D.; Peters, M.; Horsley, T.; Weeks, L.; Hempel, S.; Akl, E.; Chang, C.; McGowan, J.; Stewart, L.; Hartling, L.; Aldcroft, A.; Wilson, M.; Garritty, C.; Lewin, S.; Godfrey, C.; Macdonald, M.; Langlois, E.;  Soares-Weiser, K.; Moriarty, J.; Clifford, T.; Tunçalp, Ö.; Straus, S. (2018). «PRISMA Extension for Scoping Reviews (PRISMA-ScR): Checklist and Explanation». Annals of Internal Medicine, 04 september 2018. doi:10.7326/M18-0850

Enlaces relacionados

• Entradas sobre revisiones de la literatura
• Entradas sobre uso de bases de datos académicas
• Scoping reviews
• Framework SALSA
• Framework PRISMA Search
• El proceso de búsqueda en revisiones de la literatura: cómo asegurar su consistencia lógica y su adecuación pragmática