Debemos empezar por reconocer una paradoja: aunque los sistemas de IA están especialmente bien dotados para generar trabajos formalmente idénticos a revisiones de la literatura, estas revisiones carecen tanto de validez (validity) como de fiabilidad (reliability). Además sustraen lo que se denomina bienes de proceso.
Veamos el porqué de todo esto y las posibles vías de solución.
Validez
Cuando un método de análisis o de obtención de datos se adapta bien al fenómeno u objeto que pretende analizar, se dice que este método tiene validez.
Dicho en negativo: un método o un instrumento carece de validez cuando en realidad NO mide lo que pretende medir. Pongamos un ejemplo muy burdo para explicarlo y luego ya lo refinaremos. Supongamos que en un hospital de maternidad deciden medir el peso de los bebés recién nacidos midiendo su tamaño. Obviamente, hay alguna correlación entre tamaño y peso, pero decididamente, medir no es la forma válida de pesar.
Ahora un ejemplo un poco más refinado. Supongamos que un investigador utiliza el número de clics de una noticia como indicador de su credibilidad. El problema de validez sería que esta toma de datos presentaría un problema de validez de constructo.
Los clics pueden medir, p.e., la viralidad de la noticia. En cambio, la credibilidad está vinculada a otros factores, como la veracidad o la confianza. En consecuencia, la operacionalización (= forma de medir) elegida en este caso no estaría midiendo bien lo que pretende medir.
Fiabilidad
La fiabilidad se refiere a la capacidad del método o del instrumento de medida para producir resultados consistentes cuando los análisis se repiten en condiciones equivalentes. Volvamos al ejemplo del peso de los bebés.
Supongamos que esta vez, en el hospital usan una báscula, pero resulta que al repetir la medida del peso del mismo bebé en el mismo momento, cada vez arroja resultados que varían en varios cientos de gramos. Obviamente, aunque ahora el instrumento es válido, carece de fiabilidad.
Ahora, un ejemplo un poco más realista. Supongamos que un equipo de investigación está analizando noticias. Quieren saber si las noticias de un corpus sobre un determinado tema tienen un encuadre negativo o positivo. En este ejemplo, si dos evaluadores analizando las mismas noticias con el mismo esquema de análisis producen resultados divergentes podemos decir que el proceso carece de fiabilidad.
A los expertos les gusta señalar que validez y fiabilidad son independientes. Un instrumento puede ser fiable sin ser válido. E inversamente, puede ser válido y, sin embargo, carecer de fiabilidad. Lo que es importante, es que para que un método o instrumento tenga valor científico ha de tener las dos cosas: validez + fiabilidad.
Revisiones de la literatura con IA
Ahora vamos a aplicar esto a las revisiones de la literatura hechas con sistemas de IA. El diagnóstico es que carecen de validez porque no sabemos cómo han hecho la búsqueda ni cómo han efectuado la evaluación (cribado) para determinar la base de la evidencia. Además, tampoco sabemos cómo han efectuado los análisis.
En las revisiones de la literatura genuinas, esto es, desarrolladas por humanos, se debe dar a conocer (1) el método de búsqueda exacto que se ha utilizado, (2) los criterios de inclusión y exclusión y (3) el esquema de análisis.
Pero las IA, en general, no proporcionan de forma completa ninguna de estas tres facetas de una revisión de la literatura. Algunas IA especializadas informan de las búsquedas, p.e., indicando los diferentes prompts o temas por los que han buscado, pero no sabemos exactamente cómo han hecho la búsqueda. También aportan criterios generales de cribado, pero son muy generales e imposibles de verificar, p.e., pueden mencionar cosas como la relevancia y la importancia de la fuente, pero aplicados de manera que han cribado cientos de miles o millones de documentos en pocos segundos y han seleccionado al final unas pocas decenas. Todo muy eficaz y muy rápido, pero imposible de verificar. Todo esto niega la validez.
Por otro lado, carecen de fiabilidad. Esto es muy fácil de comprobar. Si repetimos el mismo prompt con el mismo sistema de IA, el mismo día, o incluso con unos minutos de diferencia, presentan resultados divergentes tanto en la síntesis narrativa como en la lista de las investigaciones seleccionadas y por tanto en la base de la evidencia. Todo esto niega la fiabilidad.
Por si fuera poco, además, las revisiones de la literatura con IA no sirven para una de las funciones más a menudo soslayadas y que es, sin embargo, de la máxima importancia para el investigador. Se trata de los llamados bienes de proceso. Se llaman así a los bienes que genera el proceso de investigación en sí mismo, aparte de los bienes que son resultado de la investigación. Vamos a considerar esto.
Bienes de proceso
Cuando un investigador lleva a cabo una revisión de la literatura pone en marcha habilidades cognitivas de alto nivel que, de este modo, gracias a la práctica, se ven cada vez más reforzadas:
- Interpretar de forma crítica informaciones complejas.
- Relacionar y conectar ideas, conceptos y teorías.
- Sintetizar de forma no meramente agregativa resultados de diversas investigaciones.
- Producir una síntesis narrativa temática y configurativa que es más que la suma de las partes.
Además de adquirir habilidades, al haber tenido que leer, comprender y analizar un grupo de investigaciones ha adquirido un conocimiento de su ámbito de investigación del que antes carecía. Los bienes de proceso para su mente y su aparato cognitivo son enormes como consecuencia de haber hecho la revisión de la literatura sin delegación cognitiva en una IA.
Dicho de otro modo: la mente del investigador ha tenido una reconfiguración. Ha creado nuevas rutas y conexiones neuronales y ha obtenido una capacidad de pensamiento mucho más avanzado sobre su ámbito de investigación que al inicio del proceso. Por eso se llaman, justamente, bienes de proceso.
PROPUESTA DE SOLUCIÓN:
EL CONCEPTO DE SÍNTESIS DE LA EVIDENCIA
La síntesis de la evidencia como verdadero producto de la IA generativa
Por tanto, si por un lado, las IA son eficaces para generar trabajos formalmente equivalentes a revisiones de la literatura pero tienen el problema de validez y fiabilidad, y por otro lado impiden que el investigador adquiera habilidades y conocimientos, por otro, ¿hemos de perder la indudable capacidad de las IA en este terreno? Esto, ciertamente, sería una lástima.
Una posible solución consiste en establecer que los sistemas de IA, lo que producen exactamente no es una revisión de la literatura, sino que, aquello que producen exactamente es una síntesis de la evidencia de nueva clase.
De este modo, conseguimos varias cosas. Primero, evitamos confusiones. Segundo, convertimos un punto de llegada en un punto departida. Y esto crea una gran diferencia.
Una síntesis de la evidencia es lo que se genera al producir una síntesis configurativa/temática de los principales resultados y hallazgos de un conjunto de investigaciones.
Comparemos:
- Una revisión de la literatura es un punto de llegada y debe satisfacer los criterios tanto de validez como de fiabilidad. Estos criterios solo los puede aportar un ser humano, ya que requieren un autor dotado de conciencia y pensamiento crítico capaz de conocer, comprender y saber de lo que está tratando.
- En cambio, una síntesis de la evidencia es un punto de partida. A partir de aquí, con la adecuada transformación, esta síntesis de la evidencia puede ser el soporte adecuado para que un investigador obtenga de forma ágil un mapeo del campo.
Una síntesis de la evidencia puede ayudar de forma decisiva a un investigador a desarrollar un marco teórico, o para desarrollar de forma más eficaz y certera el protocolo de una investigación, incluyendo el protocolo de una auténtica revisión de la literatura de tipo scoping review o systematic review.
A continuación debemos considerar si las IA generalistas, como ChatGPT o Claude son idóneas para producir síntesis de la evidencia o, por el contrario necesitamos IA especializadas como Consensus, Elicit u otras.
¿Sirve cualquier IA para generar síntesis de la evidencia?
Para uso en trabajos evaluativos, tales como trabajos de final de máster o tesis doctorales son mucho más adecuadas las IA académicas. Esto se puede extrapolar al uso de la IA en cualquier producción académica, sobre todo cuanto más cercana esté a la consideración de trabajo evaluativo. Por ejemplo, serían el mismo caso los artículos científicos o memorias para solicitar financiación de proyectos.
Sistemas de IA académicos: características principales
Lo que hace que sean más adecuadas las IA académicas es que presentan las siguientes características:
- Son sistemas de tipo Retrieval Augmented Generation (RAG). Esto hace que tienden a evitar, incluso a suprimir, las alucinaciones a la hora de generar las referencias bibliográficas.
- Un sistema RAG combina un LLM con un sistema de recuperación de información. Une, de este modo, lo mejor de los dos mundos: (1) la generación de síntesis narrativas, pero (2) ancladas en los documentos recuperados, no solo en su base de conocimientos.
- Son más transparentes sobre las fuentes académicas que consultan. Y solo consultan fuentes académicas. La mayoría usan bases de datos académicas abiertas que gozan de buena reputación en la academia, como Semantic Scholar, con acceso a 250 millones de artículos científicos evaluados u OpenAlex, con aún una base mayor de datos (aunque de tipo heterogéneo, no solo artículos evaluados).
- Aportan funciones genuinas de recuperación bibliográfica. Esto es clave para asegurar que la IA ha explorado el espacio de conocimiento que necesitamos: investigaciones publicadas en revistas científicas.
- La página de resultados es más completa, más sólida, más elaborada y más funcional en casi todo lo que importa en entornos académicos (por algo son sistemas especializados).
- Proporcionan funciones equivalentes a los de un sistema de recuperación de información. Incluyen parte de las funcionalidades que podemos encontrar en una base de datos académica convencional tipo Scopus o WoS (aunque aún lejos de las prestaciones de estas últimas)
- Aportan gestión de referencias y ofrecen utilidades muy importantes relacionadas, incluso la posibilidad de usar gestores bibliográficos como Zotero.
A continuación mostramos dos ejemplos de listados bibliográficos generados por IA académicas.
Sistemas de IA académicos: tres casos
Hay una lista al parecer cada vez más larga de sistemas de IA académicos. Pero en lo que sigue, solamente vamos a recomendar tres de ellos. Las razones son las siguientes:
- Implementan las características principales de las IA académicas que hemos listado en el apartado anterior.
- Presentan versiones gratuitas totalmente funcionales. Las diferencias con las versiones premium son, p.e, de limitación en el número de usos por período de tiempo (p.e, cada mes).
- Además en caso de que el investigador esté interesado, son las que presentan, a dia de hoy, tarifas más accesibles.
- No sugieren, con sus formatos de salida, que el usuario se puede limitar a copiar y pegar el contenido en su trabajo. Por el contrario, otras IA (de las que aquí no hablamos) parece que buscan ocupar el nicho de usuarios que básicamente están dispuestos a practicar el «copiar y pegar» con cero verificación.
Las das primeros de estas IA académicas que satisfacen lo anterior son las siguientes:
- Consensus > Guía de uso.
- Undermind > Guía de uso.
Hay una tercera IA que merece ser comentada aparte:
- NotebookLM > Guía de uso
Esta última, pese a ser una IA generalista la incluimos siempre entre las académicas porque trabaja sobre conjuntos de documentos. Si el usuario selecciona un grupo de documentos académicos (p.e, artículos de revistas evaluadas), NotebookLM deviene un sistema académico. La clave está en NO usar NotebookLM como un buscador, sino como una IA para analizar y sintetizar la evidencia aportada por el usuario.
Como ya hemos dicho, además de las tres mencionadas, hay otras IA académicas notables en la producción de síntesis de la evidencia. Entre ellas destaca especialmente Elicit.
La síntesis de la evidencia como punto de partida
Como ya hemos señalado, una síntesis de la evidencia producida por una IA debe ser un punto de partida. Pero, ¿qué significa esto?
En cada contexto, es cada usuario quien debe determinar el significado. Veamos algunos, solo a modo de ejemplo. En todo caso en una enumeración que sigue de ninguna forma agota posibilidades:
- Alimento para el cerebro. El usuario lo usa para obtener un primer mapeado plausible de su ámbito de conocimiento. Esto es, conocer los conceptos, la terminología, las teorías principales y los autores más destacados. Como si hubiera asistido a una seminario de formación intensiva, pero hecho a la medida de su proyecto. A partir de aquí, puede hacer lo que sea que el cruce de esta información con los objetivos de su investigación, le sugiera: explorar más ciertas teorías, conseguir determinados trabajos, reorientar algunas bases de su investigación, etc.
- Agilización de un marco teórico. El usuario toma el resultado de la IA como un material de trabajo y exploración. Aplica procesos de transformación característicos del trabajo académico, como el que representa Veritas. Esto es, lee, evalúa, verifica, atribuye y edita con citación de fuentes, y el resultado puede ser conseguir las bases de su marco teórico. De este modo podrá agilizar esta parte de su trabajo sin caer en deuda cognitiva y apuntando de manera más certera en sus primeros pasos al efecto.
- Verificaciones para un marco conceptual. El usuario toma el resultado para verificar algunas decisiones iniciales tomadas en su marco conceptual. El marco conceptual va a guiar los pasos principales de su investigación. Las síntesis de la evidencia le puede ayudar a asegurar la solidez de sus decisiones, le puede llevar a refinarlas, mejorarlas, descartar vías improductivas, etc.
- Diseño de un protocolo de investigación. El usuario toma el resultado para generar de manera más sólida y fundamentada un protocolo para una scoping review o una systematic review resueltas con su esfuerzo intelectual, pero con un punto de partida certero y solvente.
- Verificación de elementos de una metodología. Más arriba, hemos comentado la necesidad de asegurar la validez y la fiabilidad de un proceso de tomas de datos. Una síntesis de la evidencia puede ayudar a asegurar que entendemos bien los constructos y las variables, para evitar problemas de validez. Además podemos encontrar modelos y buenas prácticas para evitar la fiabilidad y sus procedimientos para medirla.
- Principio de precaución. Una IA no busca la verdad, busca el resultado más probable. No tiene conciencia de la verdad. Hay que tomar las salidas producidas por una IA como hipótesis probabilísticas, no como resultados verdaderos. Los errores de las IA no son humanos, por lo tanto pueden ser sorprendentemente absurdos, como el famoso consejo de añadir pegamento a una pizza, pero no siempre son tan reconocibles.
Nos queda aún considerar una última pregunta.
¿Sustituyen las IA académicas a las bases de datos académicas?
Respuesta corta: NO.
En la situación actual, y no se ven cambios próximos en este sentido, (luego diremos porqué) las dos bases de datos académicas internacionales más importantes, Scopus y Web of Science son imprescindibles en revisiones sistemáticas Para otras disciplinas, como la medicina o el derecho, sus respectivas bases de datos especializadas son igual de imprescindibles.
El lector amante de la ciencia abierta puede estar revolviéndose mientras lee esta afirmación. Recordemos el dicho de Aristóteles: «amo a Platón, pero amo más a la verdad». Podríamos decir con el gran sabio: «amo a la ciencia abierta, pero amo más a la verdad».
A día de hoy, no hay una sustitución funcional de las bases de datos académicas como Scopus o WoS mediante sistemas abiertos. Esto de manera general, pero muy especialmente si la tarea consiste en llevar a cabo revisiones de la literatura de tipo sistemático. Son dos cosas distintas. Veamos: ¿deberíamos tener esta alternativa? Sí. ¿La tenemos? No.
Si tuviéramos un equivalente a Scopus o WoS, pero en abierto, creo que nadie me vería usar otra cosa. Pero, mientras no exista este equivalente, es justo que empresas que hacen bien su trabajo y aporten soluciones reales obtengan beneficios. Sin ellos no pueden pagar a sus trabajadores ni a sus proveedores. Esto no nos debe impedir presionar para que los márgenes de beneficios sean razonables. Sus costes deben ser asumibles para todas las universidades.
De nuevo con la validez y la fiabilidad
Veamos ahora porqué los sistemas académicos no sustituyen a las bases de datos académicas convencionales. Para ello vamos a recuperar los conceptos de validez, y de fiabilidad, y añadiremos el de base de la evidencia.
Empecemos por este último. La base de la evidencia es el conjunto de las investigaciones de las que se extraen los datos para poder producir una síntesis de la evidencia. Si la base de la evidencia está mal seleccionada o, y esto es muy importante, no sabemos cómo se hizo la selección, la revisión de la literatura carece de validez.
En los sistema de IA la selección es opaca, esto es, no sabemos cómo ha hecho la búsqueda ni la selección, por tanto, carece de validez.
Por otro lado, si la IA genera resultados diferentes con el mismo prompt, carece de fiabilidad.
Las razones de ambas cosas de carácter ontológico.
Las IA generativas son redes neuronales de las que podemos conocer la entrada y la salida, pero no cómo la forma exacta en la han llegado a cada resultado.
Además, las IA son de naturaleza probabilística. por lo que cada vez darán un resultado diferente.
Aquí está la razón ontológica de porqué nuevos avances en la tecnología de las IA no van a resolver el problema.
Revisiones de la literatura sistemáticas con otras fuentes
El marco internacional más aceptado para revisiones sistemáticas de la literatura es PRISMA, tanto en su versión general, como en la extensión para scoping reviews, PRISMA ScR. Este marco acepta otras fuentes distintas de las bases de datos académicas según sea el objetivo del proyecto.
Decimos esto porque, ciertamente, lo más habitual es que la fuente para una revisión sea una o varias bases de datos. Este debe ser el caso de, por decir alguna cosa, el 80 o el 90 por ciento de las revisiones sistemáticas. Pero en función del proyecto, la fuente puede ser de otra naturaleza.
Un ejemplo fácil podría ser el siguiente: imaginemos una scoping review cuyo objetivo sea mapear la investigación publicada por las cinco revistas científicas más importantes en periodismo digital en los últimos seis años.
En este caso, no necesitamos una base de datos para obtener la base de la evidencia. En su lugar, la obtendremos directamente de las revistas en cuestión mediante navegación sistemática por los sitios web respectivos, de los que iremos descargando, una a una las investigaciones publicadas.
Además, puede haber revisiones de la literatura cuya base de la evidencia no sean artículos científicos, sino otra clase de publicaciones. Imaginemos un proyecto que necesita analizar los informes publicados por los principales think tanks de periodismo del mundo (p.e., el Oxford Institute, el Pew Research, etc.). Como la base de la evidencia no son artículos, tampoco necesitamos bases de datos.
Ahora bien, hay que insistir en que estos no son los casos habituales, lo que no impide que sean casos posibles y que, de facto podamos encontrar en la literatura científica ejemplos de investigaciones de este tipo.
Dos ejemplos de revisiones de la literatura que NO utilizan bases de datos los tenemos en sendas tesis doctorales en las que he tenido la suerte de ser director:
- Campos, A., & Codina, L. (2021). Análisis de estrategias de comunicación, diseminación y explotación en Horizonte 2020: Claves para multiplicar el impacto de proyectos europeos. Revista Prisma Social, (32), 293–320. Recuperado a partir de https://revistaprismasocial.es/ps/article/view/3935
- Castells-Fos, L., Pont-Sorribes, C., & Codina, L. (2025). Decoding News Media Relevance and Engagement through Reputation, Visibility and Audience Loyalty: A Scoping Review. Journalism Practice, 19(5), 1154–1173. https://doi.org/10.1080/17512786.2023.2239201
Conclusiones
Vamos a hacer un resumen:
- Las IA académicas son especialmente útiles en la producción de síntesis de la evidencia y en la obtención de referencias bibliográficas.
- Una síntesis de la evidencia es un punto de partida, no de llegada, y aquí está la fortaleza que nos permite usar una IA en estas tareas.
- Mapear una área de conocimiento, agilizar un marco teórico, fortalecer la fiabilidad y la validez de una investigación, verificar constructos y métodos, son solamente algunos de los beneficios de usar IA académicas en un proyecto de investigación o en trabajos como tesis doctorales.
- Para desarrollar revisiones sistemáticas, en cambio seguimos necesitando sistemas deterministas, tales como los sistemas de recuperación de información booleanos que están en el corazón de las bases de datos académicas. Los necesitamos para asegurar que la selección de la base de la evidencia, partiendo de los criterios de búsqueda, basados en lógica, hasta los de cribado, basados en la capacidad de juicio humano, sean válidos y fiables.
- Atención a la ilusión de eficiencia que generan las IA. Una IA puede producir un resultado sorprendentemente eficaz y en cualquier momento, la misma IA puede cometer errores incomprensible. El historial de aciertos previos de una IA no es un predictor fiable de aciertos futuros. Hay que verificar todas y cada una de las informaciones que nos proporcione una IA antes de usarlas en un trabajo.
- Esto no impide el uso de la IA en tareas de apoyo en revisiones sistemáticas. Por ejemplo, para evaluar las ecuaciones de búsqueda o sugerir palabras claves, para el cribado de los documentos o para establecer los esquemas de análisis en la extracción de datos estructurales, entre otros beneficios. Pero todo esto último, necesitaría una nueva entrada.
Por el momento retengamos que las IA académicas pueden ayudar a generar mejores investigaciones si son usadas del modo adecuado, con el investigador en el centro de control y sin delegar funciones cognitivas avanzadas.
Para saber más
- Entradas y artículos de este sitio sobre el uso de la IA
- Cómo utilizar contenidos generados por IA en trabajos académicos: el marco Veritas de verificación, evaluación, atribución y edición
- Sistemas de inteligencia artificial y tesis doctorales · 1: Aspectos generales
- Sistemas de inteligencia artificial y tesis doctorales · 2: Guías de uso
- Sistemas de inteligencia artificial y tesis doctorales · 3: Veritas y transparencia
Referencias citadas
- Campos, A., & Codina, L. (2021). Análisis de estrategias de comunicación, diseminación y explotación en Horizonte 2020: Claves para multiplicar el impacto de proyectos europeos. Revista Prisma Social, (32), 293–320. Recuperado a partir de https://revistaprismasocial.es/ps/article/view/3935
- Castells-Fos, L., Pont-Sorribes, C., & Codina, L. (2025). Decoding News Media Relevance and Engagement through Reputation, Visibility and Audience Loyalty: A Scoping Review. Journalism Practice, 19(5), 1154–1173. https://doi.org/10.1080/17512786.2023.2239201