¿Qué puede hacer la IA en una revisión de la literatura? El caso de las scoping reviews

La inteligencia artificial generativa puede ser una formidable aliada, no solo para agilizar, sino también para mejorar las revisiones sistemáticas de la literatura, entre las que se encuentran las scoping reviews.

A igualdad de los demás factores, con el uso de la IA, las revisiones de la literatura deberían ser mejores. No solo esto, las revisiones de la literatura podrían estar libres de los errores más comunes de diseño o de protocolo, como en las ecuaciones de búsqueda mal diseñadas. Pero para esto, debemos entender bien cuáles son las limitaciones y fortalezas de las IA.

Empecemos por lo que las inteligencias artificiales NO deben hacer: una IA no puede llevar a cabo de forma integral y autónoma una revisión de la literatura.

Para una discusión sobre las razones técnicas y epistemológicas de esto, el lector interesado dispone de esta entrada.

Vayamos ahora a ver en qué dimensiones, fases y prompts, las revisiones de la literatura se pueden mejorar gracias a la IA. Tomaremos como background los trabajos de revisión de tipo scoping review (revisiones sistemáticas de alcance).

Dimensiones

Las dos grandes dimensiones en las que la IA puede aportar ventajas y mejoras a un trabajo de revisión son:

• Exploración inicial.
• Asistencia específica en cada fase de desarrollo.

Veamos estas dos dimensiones con detalle y con ejemplos de prompts. Para ello, usaremos la simulación siguiente:

Una observación importante, antes de proseguir. En tareas de recuperación de información y búsqueda bibliográfica, debemos usar IA académicas como Elicit, Consensus o Undermind. En tareas de verificación, ideación y conceptualización podemos usar IA generalistas, como ChatGPT, Claude o Gemini. Más información en esta entrada.

Para caracterizar de manera sistemática cada posible uso de la IA en una revisión de la literatura usaremos este esquema:

Una vez armados con el esquema precedente, podemos proceder a presentar algunas posibilidades de uso de la IA en revisiones de la literatura con base a las dos dimensiones principales que se verán.

Dimensión 1 > Exploración inicial para apoyar una scoping review

El investigador puede partir de una exploración previa del campo utilizando la síntesis de la evidencia que puede producir una IA. Para ello, conviene utilizar una IA académica como Consensus o Undermind donde las alucinaciones y las referencias falsas están prácticamente descartadas, debido a su fundamento tecnológico como sistemas RAG (Retrieval Augmented Generation).

Esta exploración inicial aporta una síntesis de la evidencia provisional, junto con la identificación de autores y trabajos clave. Esto evitará producir protocolos ingenuos o naif, porque el investigador ya no partirá de cero en su conocimiento del campo, gracias a la síntesis de la evidencia producida por una IA. Los avances siguientes en el trabajo de revisión deberán utilizarse para eliminar posibles sesgos y corregir limitaciones de esta primera aportación.

En esta fase, el prompt puede corresponder con el enunciado del problema o de la pregunta de investigación. Veamos esto con nuestro esquema.

• Sistema de IA útiles: IA académicas como Consensus, Undermind, Elicit, etc.
• Ejemplo de prompt: «Journalistic Quality: components and metrics. Key areas of consensus and debate». Ver resultado en Consensus.
• Resultados: síntesis de la evidencia sobre el ámbito objeto de estudio, identificación de autores y trabajos clave.
• Utilidad para la scoping: el equipo de investigadores, después de revisar la síntesis generada y de verificar los trabajos clave, estará en condiciones de diseñar un protocolo más incisivo y sofisticado. Ayudará también a verificar la calidad de resultados como la ecuación de búsqueda. Las notas que tomen los autores como resultado de leer y evaluar la síntesis y de consultar las referencias clave, serán útiles para establecer el marco teórico del informe final.
• Verificación humana: hay que leer la síntesis de la evidencia con pensamiento crítico y hay que verificar y manejar cualquier referencia que pensemos utilizar o citar en nuestro trabajo. Si la síntesis es de una buena calidad percibida se puede aplicar Veritas como método de examen, a toda o a parte de la síntesis, según estimación de su utilidad por parte de los autores.

Dimensión 2 > Asistencia en las diferentes fases de desarrollo de una scoping review

Si seguimos el framework SALSA, que es compatible con PRISMA para Scoping Reviews, las diferentes fases de una scoping review son: (1) búsqueda, (2) evaluación, (3) análisis y (4) síntesis. Vamos a seguir estas fases para ver las posibilidades de ayuda de la IA, que puede llegar a ser decisiva.

1. Búsqueda · Diseño de la consulta o ecuación de búsqueda

La fase de búsqueda incluye la determinación de las fuentes. En caso de que se trate de bases de datos como Scopus o Web of Sciences, la fase de búsqueda incluye la determinación de la consulta que suele tener formato de búsqueda booleana, también llamada ecuación booleana.

• Sistemas de IA útiles: suelen dar buenos resultados las IA generalistas como ChatGPT o Claude. Pero requieren comprobaciones.
• Ejemplo de prompt 1: «Contexto: revisión de la literatura con bases de datos académicas. Verifica la validez de esta ecuación de búsqueda: [insertar ecuación de búsqueda]. Señala si el uso de los operadores es correcto dada la necesidad de información que es la siguiente: [indicar necesidad de información]. Señala si detectas que falta alguna palabra clave esencial para no perder información». Ver ejemplo en ChatGPT.
• Ejemplo de prompt 2: «Primero, considera la necesidad de obtener investigaciones recientes sobre el concepto de «calidad periodística» y sugiere las palabras clave en inglés para poder hacer una consulta en una base de datos académica. Segundo, propón la ecuación o ecuaciones booleanas necesarias para combinar las palabras clave y poder lanzar una o más consultas en una base de datos académica». Ver ejemplo en Perplexity.
• Ejemplo de prompt 3: «Necesito una ecuación de búsqueda booleana con palabras clave en inglés para la necesidad de información «calidad periodística». Ver ejemplo en Claude.
• Resultados: ideas para la ecuación booleana, ideas para palabras clave.
• Verificación humana: la ecuación o ecuaciones propuestas deben ser evaluadas cuidadosamente. En concreto, debe verificarse que respondan a la semántica de la necesidad de información. También debe ser puesta a prueba utilizándolas en una base de datos académica y determinando la relevancia de, p.e., los primeros 10 o 20 documentos recuperados leyendo el título y el resumen. La ecuación debe generar una mayoría de documentos relevantes, y no perder referencias cruciales identificadas en la fase anterior de síntesis de la evidencia. En caso de duda, se puede consultar a un colega de confianza o pedir asesoramiento al personal bibliotecario de la universidad.
• Utilidad para la scoping: el equipo de investigadores se puede beneficiar de la ayuda lógica de la IA para encontrar las palabras clave y también para la correcta sintaxis de la ecuación de búsqueda. Pero todo requiere verificación humana.

Bonus: ecuaciones candidatas de la simulación

Ya que estamos usando una simulación realista, déjenme señalar cuáles podrían ser las ecuaciones candidatas. Vamos a presentar dos a partir de ChatGPT, porque posiblemente el problema de investigación del que partimos («calidad periodística») no se puede expresar con una sola. Las dos candidatas serían:

Posiblemente habría que utilizar dos ecuaciones como las de arriba y combinar después los resultados, obviamente eliminando duplicados. Pero solo poniendo a prueba de forma real las ecuaciones podemos concluir su posible validez operativa. Recordemos que una cosa es la validez lógica de la ecuación, que depende del uso correcto de operadores booleanos, y otra la validez relacional que depende del acierto con las palabras clave.

¿Cuando una ecuación booleana es lógicamente correcta?

Un punto crucial para determinar si una ecuación booleana es potencialmente correcta desde el punto de vista lógico es el siguiente:

• Cada concepto único y distinto, debe estar relacionado con otro concepto único y distinto con la intersección lógica, esto es, con el operador AND.
• Los anillos de sinónimos para representar cada concepto único y distinto, deben estar relacionados mediante la suma lógica, esto es, con el operador OR.

El esquema general es este:

(«palabra clave 1» OR «palabra clave 2») AND («palabra clave 3» OR «palabras clave 4»)

Ejemplo:

Ecuación 3

(«artificial intelligence» OR LLM OR IA) AND (journalism OR «news media» OR «news outlets»)

Como se puede ver en el ejemplo:

• El concepto del primer anillo de sinónimos es el de inteligencia artificial y el concepto del segundo anillo de sinónimos es el de periodismo. La necesidad de información se puede describir así: «relación entre la inteligencia artificial y el periodismo«.
• El concepto 1 (IA) y el concepto 2 (periodismo) deben intersectarse, y esto requiere un AND.
• Los sinónimos dentro de cada concepto, deben sumarse, y esto requiere un OR.

Un ejemplo de ecuación DEFICIENTE sería el siguiente:

Ecuación 4*

(«artificial intelligence» AND LLM AND IA) AND (journalism AND «news media» AND «news outlets»)

La razón por la cual la ecuación 4* es deficiente es porque, aunque las palabras clave son correctas, los operadores están mal utilizados. El resultado puede resultar muy relevante (si es que hay resultados) pero a costa de una enorme pérdida de información.

Los lectores interesados tienen más sobre esto aquí.

2. Evaluación

La fase de evaluación se aplica al conjunto de documentos o referencias recuperadas con la búsqueda booleana (o con cualquier otro procedimiento). Este conjunto se evalúa leyendo el título y el resumen de cada referencia. El objetivo es seleccionar solamente aquellas investigaciones que sean relevantes dada la pregunta o el problema de investigación. Esta fase, también llamada de cribado es la responsable de determinar cuál es la base de la evidencia en una revisión de la literatura. La base de la evidencia es el nombre por el cual nos referimos al conjunto de documentos (N) que serán analizados y sintetizados en las siguientes fases.

• Sistemas de IA útiles: dependerá del tipo de prompt. Los que nosotros utilizamos como ejemplos en esta fase, los resuelven mejor las IA generalistas.
• Ejemplo de prompt 1: «Revisa esta hoja de cálculo (o tabla) con el título y el resumen de un grupo de referencias bibliográficas. Haz una selección de las referencias potencialmente relevantes para una revisión de la literatura sobre calidad periodística. Distribuye tu dictamen en tres grupos: referencias relevantes, referencias no relevantes y referencias dudosas»
• Ejemplo de prompt 2: «Revisa esta hoja de cálculo (o tabla) con el título y el resumen de un grupo de referencias bibliográficas. Haz una selección de las referencias potencialmente relevantes para una revisión de la literatura cuyo tema/problema/pregunta de investigación es: XXX, XXX. Además, considera referencias relevantes solamente las que además incluyan estas características: XXXX, XXXX. Distribuye tu dictamen en tres grupos: referencias relevantes, referencias no relevantes y referencias dudosas»
• Resultados: Una primera criba de investigaciones candidatas a formar parte de la base de la evidencia.
• Verificación humana: deben validarse o rectificar la selección de la IA. Si los casos dudosos son también dudosos para el equipo humano, hay que incorporarlos a la lista de investigaciones candidatas a ser analizadas.
• Utilidad para la scoping: Si la búsqueda proporciona 100 o más referencias, una propuesta de criba inicial por parte de la IA puede ayudar al equipo humano a ser más ágil en esta fase. Hay que verificarlo todo, pero verificar es mucho más rápido. La tabla (en formato de hoja de cálculo) con las referencias, por su parte, la puede generar la base de datos después de una búsqueda con una ecuación exitosa.

3a. Análisis · 1 Esquema de análisis

Para la fase de análisis necesitamos aplicar un mismo esquema de extracción de datos a todas las referencias. Aquí corresponde trabajar con el documento completo. El objetivo del esquema de análisis es garantizar que cada investigación es analizada con los mismos criterios.

• Sistemas de IA útiles: sistemas de IA generalistas
• Ejemplo de prompt 1: «Examina el esquema de extracción de datos siguiente [adjuntar documento o indicar esquema] para analizar la base de la evidencia de una scoping review sobre calidad periodística. Determina si es adecuado, si encuentras a faltar alguna variable adicional que se pueda extraer de cada investigación, o si detectas alguna variable poco relevante: [adjuntar el esquema de extracción de datos]», Ver ejemplos de esquemas de análisis.
• Ejemplo de prompt 2: «Prepara un esquema de extracción de datos compuesto por entre 5 y 7 variables para analizar la base de la evidencia en una scoping review sobre calidad periodística en la que las métricas son un objeto de atención importante». Ver ejemplo en Perplexity.
• Resultados: Una propuesta de esquema de extracción de datos o una validación, ampliación, refinamiento, etc. de un esquema presentado a la IA.
• Verificación humana: requiere un cien por cien de validación humana.
• Utilidad para la scoping: para los investigadores será útil contar con la posibilidad de una ampliación de su esquema de extracción de datos o de una validación del que hayan diseñado.

3b. Análisis · 2 Extracción de datos

Una vez disponemos de un esquema sistemático de análisis, ya podemos proceder a extraer los datos de cada investigación. Para ello, los investigadores deben leer cada una de las referencias, esto es, cada uno de los artículos. Esta lectura, debe ser humana, no puede ir al cargo de la IA. Pero la IA sí puede hacer extracciones de datos estructurados concretos, si es el caso y cuya identificación no requiera (apenas) interpretaciones. Es decir, la IA no debe hacer análisis globales de cada investigación; o puede hacerla, pero siempre como complemento a la que hagan los investigadores y nunca podrá ser el análisis principal, sino un complemento. Pero sí puede detectar datos concretos, extraerlos y unificarlos como parte del resultado. Esta será una extracción complementaria a la realizada por los investigadores.

• Sistemas de IA útiles: sistemas generalistas. En el ejemplo concreto de prompt propuesto a continuación, una IA como NotebookLM puede ser especialmente útil.
• Ejemplo de prompt: «Examina los documentos adjuntos y extrae de cada documento estas características: primero, la afiliación de los autores y los anotas en una tabla identificando cada documento. Después, leyendo el título y el resumen, determina si alguno de los documentos menciona nombres de países y nombres de medios de comunicación, en cuyo caso, lo anotas en una tabla». Alternativamente, podemos pedir que el análisis se haga en todo el cuerpo del documento, pero entonces hay riesgo de menciones no significativas. Hay que valorar ventajas e inconvenientes de un análisis del documento completo. La verificación también será más compleja.
• Resultados: Un análisis de las base de la evidencia en base a elementos estructurales o semi estructurales que una IA pueda identificar (casi) sin riesgos, y con una posibilidad de verificación relativamente ágil.
• Verificación humana: validación de cualquier categorización por los investigadores. Véase que no podemos pedir a la IA una extracción de datos que requiera interpretación epistémica, como determinar el objetivo principal o los resultados principales de cada investigación. Esta clase de extracciones solo lo pueden hacer investigadores humanos.
• Utilidad para la scoping: determinadas formas de extracción de datos con bajo riesgo se pueden encargar a la IA y ampliamos el alcance de los análisis con baja inversión de tiempo. Después, una verificación humana es necesaria, pero verificar siempre requiere mucho menos tiempo que generar.

4. Síntesis

La fase de síntesis es el resultado principal de un trabajo de revisión. Habitualmente, la síntesis se presenta en diversos formatos. Entre ellos, una o varias tablas y una síntesis narrativa configurativa crítica. Entre las tablas y la síntesis narrativa ha de quedar establecido el mapeo del ámbito y la respuesta a la pregunta de investigación. En nuestra simulación, la síntesis explicaría el significado, los componentes del constructo denominado «calidad periodística«, sus métricas principales y los principales huecos de investigación. A partir de las tablas de análisis, podemos pedir a la IA que genere nuevas tablas analíticas o que verifique la validez de los datos numéricos, o la coherencia de datos categoriales, etc.

• Sistemas de IA útiles: sistemas generalistas
• Ejemplo de prompt 1: «Examina las dos tablas de datos adjuntas (tabla 1 y tabla 2) y genera una tercera tabla (tabla 3) seleccionando las columna XXXX de la tabla 1 y la columna XXXX de la tabla 2. Mantén siempre la columna ID para la identificación de las entidades de cada fila»
• Ejemplo de prompt 2: «Examina el documento adjunto con las tablas t1, t2, … tn, y sugiere tres formatos de visualización de la información para sintetizar los datos» [Sugerencia de formato de prompt, hay que hacer pruebas con datos reales para apreciar el rendimiento]
• Resultados: Síntesis de resultados en forma de matrices (tablas) adicionales a las tablas generadas por los investigadores u otros formatos de visualización de la información.
• Verificación humana: las tablas o visualizaciones deben revisarse y validarse completamente.
• Utilidad para la scoping: mediante prompts como los anteriores se pueden generar síntesis de resultados más amplias y con mayor número de enfoques.

Conclusiones

Hemos mostrado dimensiones, fases y ejemplos en los que una IA puede ayudar de forma muy notable en la concepción y el desarrollo de una revisión de la literatura de tipo scoping review.

Pero los casos y los ejemplos mostrados aquí son solo una pálida ilustración de las posibilidades reales de la IA en esta clase de trabajos académicos. Cada proyecto puede aportar oportunidades y formatos específicos,

Uno de los puntos principales es que, en todas sus formas de uso, la IA no sustituye el trabajo intelectual del equipo humano, a la vez que aporta ventajas de agilidad y de aseguramiento de la calidad del trabajo final.

FUENTES

Recomendaciones sobre el uso de la IA en revisiones de la literatura

• Responsible AI in Evidence SynthEsis (RAISE): guidance and recommendations. https://doi.org/10.17605/OSF.IO/FWAUD
• Flemyng E, Noel-Storr A, Macura B, Gartlehner G, Thomas J, Meerpohl JJ, Jordan Z, Minx J, Eisele-Metzger A, Hamel C, Jemioło P, Porritt K, Grainger M. (2025). Position Statement on Artificial Intelligence (AI) Use in Evidence Synthesis Across Cochrane, the Campbell Collaboration, JBI, and the Collaboration for Environmental Evidence. Campbell Syst Rev. 2025 Nov 10;21(4):e70074. PMID: 41230118; PMCID: PMC12603384. https://doi.org/10.1002/cl2.70074.
• Holst D, Moenck K, Koch J, Schmedemann O, Schüppstuhl T (2025). Transparent Reporting of AI in Systematic Literature Reviews: Development of the PRISMA-trAIce Checklist. JMIR AI 2025;4:e80247 URL: https://ai.jmir.org/2025/1/e80247 | https://doi.org/10.2196/80247
  

Referencia citada como ejemplo de scoping review

• Aguilera-Cora, Elisenda; Fernández-Cavia, Josep; Codina, Lluís (2024). Place branding and sustainable development: a scoping review. Place Branding and Public Diplomacy. https://doi.org/10.1057/s41254-024-00338-5

Para saber más

• AI in literature reviews [informe + referencias de Consensus]
• AI in literature reviews [informe + referencias de Undermind]
• Entradas y artículos de este sitio sobre el uso de la IA
• Entradas y artículos de este sitio sobre scoping reviews
• Cómo utilizar contenidos generados por IA en trabajos académicos: el marco Veritas de verificación, evaluación, atribución y edición
• Sistemas de inteligencia artificial y tesis doctorales · 1: Aspectos generales
• Sistemas de inteligencia artificial y tesis doctorales · 2: Guías de uso
• Sistemas de inteligencia artificial y tesis doctorales · 3: Veritas y transparencia