Undermind AI: búsqueda académica con IA del futuro ya está aquí

Undermind es un buscador académico con inteligencia artificial. Concretamente, se trata de una IA de tipo Retrieval Augmented Generation (RAG). Estas IA generan sus respuestas a partir de un búsqueda en bases de datos internas o externas. De este modo, una IA de tipo RAG fusiona lo mejor de dos mundos: el de las IA generativas y el de los sistemas de recuperación de información.

En el caso de Undermind, para lo primero, utiliza el modelo de lenguaje de OpenAI, GPT. Para lo segundo utiliza Semantic Scholar, así como PubMed y ArXiv.

Dado que es una IA generativa, Undermind requiere el uso de prompts. No obstante, también admite palabras clave y operadores booleanos, en cuyo caso interpreta la ecuación de búsqueda y la transforma en un prompt optimizado que presenta al usuario para su aprobación antes de ejecutar la búsqueda.

Dicho esto, la forma tal vez más compacta de definir a Undermind es explicando que: (1) analiza la necesidad de información del usuario tras un diálogo, (2) genera un prompt aumentado por IA que lanza contra bases de datos académicas, (3) aporta una síntesis global de las referencias encontradas, más (4) la lista de referencias analizadas individualmente, y (5) permite dialogar (chatear) con el conjunto de los resultados o con cada uno de ellos y generar informes adicionales.

Eficacia comparativa con Google Scholar

¿Cómo de eficaz es Undermind si lo comparamos con Google Scholar a efectos de recuperación de información?

En un estudio de la propia empresa donde se lleva a cabo esa comparación, se afirma que:

Undermind misses virtually no highly relevant works found by Google Scholar, and in addition returns 10× the total number of relevant results for the median user-generated query.

Interesante sin duda, y un dato a retener. Pero debemos tener en cuenta que el estudio es de la propia empresa Undermind.

Estructura de la página de resultados

Lo más significativo de Undermind es su página de resultados. Al respecto hay que señalar (aunque lo veremos con más detalle en la guía visual) que la respuesta de Undermind se distribuye visualmente en tres zonas de la pantalla:

Zona 1: síntesis narrativa del conjunto de los resultados, estructurada a su vez en cinco secciones: sumario, categorías, línea de tiempo, trabajos fundacionales y trabajos adyacentes.
Zona 2: espacio de diálogo (chat) con la IA para obtener informes con fines específicos o para dialogar sobre los mismos. Al efecto, encontramos un grupo de nueve posibles prompts de análisis predefinidos, así como un espacio para libre para interactuar mediante nuevas preguntas.
Zona 3: lista de referencias analizadas de forma individual, mediante un doble sistema: el resumen del artículo y una breve extracción de datos propia de Undermind.

En un adelanto de la guía, a continuación podemos ver una ilustración de estas tres zonas:

Cada una de las tres zonas incluye funcionalidades notables, empezando por el formato extremadamente articulado de la zona 1, la síntesis narrativa global. La zona 2 aporta una capacidad adicional para tratar a esta IA como una socia epistémica, ya que podemos dialogar con el conjunto de los resultados o con resultados concretos, mientras que la zona 3 aporta una lista de referencias enriquecida con análisis individuales.

HITL o humano en el ciclo

Otro aspecto notable es que Undermind renuncia a sugerir a sus usuarios que pueden usar sus informes como si hubieran sido creados por ellos mismos (en lugar de por una IA). Es una estrategia que les honra, diferente a la de otros productos que parecen buscar un mercado formado por usuarios dispuesto a aceptar los resultados de la IA como un producto final.

El mercado que busca Undermind es el más difícil: busca académicos que toman los resultados de una IA como punto de partida (no de llegada) para interactuar con ellos, en la filosofía que a veces se denomina HITL, por human-in-the-loop.

Esta filosofía se manifiesta en Undermind en que la síntesis no intenta mimetizar un artículo científico acabado y listo para ser presentado como si hubiera creados un investigador humano (lo que sería un fraude). En su lugar, presenta los resultados en forma de centro de control desde el cual, el investigador ahorra mucho tiempo en algunas tareas de búsqueda y obtención de resúmenes, pero no en tareas cognitivas complejas de análisis de la información y lectura de las investigaciones que resulten de interés.

El nombre Undermind (literalmente, «bajo la mente») se debe según la misma empresa a que:

Undermind represents the intelligence that supports and underpins your work. Like the roots of a tree, it provides a deep, rich foundation of knowledge, helping you uncover insights that fuel discovery.
Fuente: Undermind

Es hora de pasar a la guía de uso de Undermind.

UNDERMIND AI:
GUIA FUNCIONAL Y DE LA INTERFAZ

Research Assistant

En la pantalla principal vemos la expresión Research Assistant que declara que la vocación de esta IA es asistir y no sustituir al investigador. En la izquierda tenemos un menú vertical con las operaciones principales, entre ellas la que nos ocupa: Search. También es donde encontramos la sección Alerts (para gestionar nuestras alertas) y la carpeta History donde tenemos todas las búsquedas efectuadas.

Por lo que hace a las búsquedas, si observamos la leyenda que aparece sobre el espacio para el prompt, podemos ver que Undermind nos avisa que antes de lanzar la búsqueda nos formulará una pequeña ronda de preguntas.

Prompt de inicio

Para poner a prueba esta IA hemos usado (entre otros) el prompt que pueden ver en la captura. La mayor parte de las capturas siguientes corresponden a esta búsqueda, pero no todas, para poder mostrar mejor todas sus funciones hemos debido combinar resultados de prompts diferentes. Al final de esta entrada tienen el enlace a dos de los principales prompts usados para esta revisión.

Diálogo para generar el prompt

Undermind presenta un diálogo con varios niveles, y varias preguntas en cada nivel para asegurar su buen entendimiento de la necesidad de información del usuario. Como se puede ver, en el caso que nos ocupa, la IA inquiere posibilidades en tres dimensiones posibles de la necesidad de información y cada una de ellas con varias posibilidades.

Esto es un caso de puro Human-in-the-loop pues el inicio del proceso es un prompt (humano), pero la IA no actúa de forma directa, sino que plantea una serie de preguntas (IA), a las que debe responder de nuevo el usuario (humano) para mantener el control.

Prompt aumentado

Después de la interacción humano-IA, Undermind redacta una versión ampliada del prompt original que, en caso necesario se puede editar. Una vez editado, si es el caso, o una vez verificada la validez del prompt, ya se puede iniciar el proceso con el botón Generate Research Report.

Este modo de funcionamiento no gustará a algunos usuarios. Lo encontrarán lento y molesto, comparado con la agilidad aparente de otras IA para usos académicos. Estas son más ágiles aparentemente pero generan una mayor deuda cognitiva además de que ofrecen resultados que, desde la lógica de la investigación científica, carecen de validez y fiabilidad.

En cambio, esta forma de actuar mediante interacciones es una de las mejores prestaciones de Undermind y algo que todos los usuarios genuinamente interesados en obtener conocimiento (y no solo interesados en el «copiar y pegar») debemos valorar.

Vista del progreso de la búsqueda

Los procesos secuenciales que ejecuta Undermind se despliegan a la vista del usuario. Tienen la misión de ofrecer transparencia y confianza. Hemos destacados dos de los últimos procesos por su especial interés heurístico.

Pantalla de resultados como centro de control

En la captura vemos las tres secciones de la pantalla de resultados de esta IA:

Izquierda: presenta la síntesis narrativa de la evidencia hallada tras analizar los principales resultados.
Derecha: espacio de diálogo sobre los resultados. Lo hemos marcado como el lado responsable de que Undermind sea nuestro socio cognitivo o epistémico.
Lado inferior: lista de las referencias recuperadas y ordenadas por relevancia. En esta búsqueda en concreto presentó 195 resultados, con 56 de ellos analizados individualmente.

En la captura hemos destacado otras funciones de esta pantalla:

Cada lado se puede expandir para que ocupe toda la pantalla o, por el contrario, se puede cerrar por separado.
En la parte superior izquierda vemos una estimación promediada de la relevancia de las referencias recuperadas. En este caso vemos que es del 52%, lo que no impide que en búsquedas como la del ejemplo, en las primeras 30 la relevancia ha sido de entre el 90 y el 100%. Como Undermind recupera casi sistemáticamente hasta 200 referencias según hemos comprobado, llega un momento es que la relevancia inevitablemente decae hasta fracciones muy bajas, pero son referencias tan alejadas de la primera página que seguramente nunca llegaremos a explorar.
En el lado superior derecho vemos opciones para activar las alertas, exportar el informe en un PDF y generar una URL para compartir la respuesta.

Composición de la síntesis narrativa global

La síntesis narrativa presenta la evidencia hallada tras analizar los principales resultados. Esta síntesis está articulada en 5 secciones:

Summary. Ofrece un resumen amplio y articulado en subsecciones del conjunto de las referencias más relevantes recuperadas.
Categories. Las categorías que la IA ha detectado de forma inductiva, y por tanto, las categorías son propias de cada búsqueda.
Timeline. Evolución cronológica de los resultados, también organizado en subsecciones.
Foundational Work. Undermind define estos trabajos a partir de esta pregunta: «Which papers form the foundational references on this topic?». Trabajos destacados en el tema de la búsqueda por su influencia medida por citaciones dentro del conjunto de referencias recuperadas.
Adjacent Work. Los define mediante esta pregunta: «Which papers cite the same foundational papers as relevant papers?» Trabajos que citan a los trabajos fundacionales.

Detalle de la síntesis narrativa

En esta captura mostramos el detalle de la primera parte de la síntesis narrativa (Summary) con las subsecciones. Véase la flecha, >, que precede a cada subsección, mostrando que podemos desplegarla para ver su contenido o colapsarla de forma interactiva,

Una de las secciones desplegada

Véase el contenido desplegado de una de las subsecciones del Summary, que es a su vez, una de las cinco secciones principales de cada report de Undermind.

Categorías y líneas cronológicas

Véase las subsecciones denominadas Categories y Timeline. En las primera vemos hasta cinco subsecciones. En la segunda, no solamente tenemos una línea temporal de las publicaciones, sino un análisis temporal del desarrollo de las ideas así como trayectorias temáticas y otras formas de análisis cronológico.

Una de las subsecciones de Categories desplegada

En esta captura vemos el caso de una de las categorías desplegadas con contenido narrativ pero también con una de las caracerísticas tablas de sus reports.

Recordemos que cada report de esta IA contiene cinco secciones principales, y Categories es una de ellas. En el caso de la búsqueda que nos ocupa, presentó cinco Categorías en concreto:

Comparative Overview: How the Key Papers Theorize AI’s Transformation of the Scholarly Ecosystem
Comparative Treatment of Ethics, Epistemology, Disclosure, and Cognitive Debt
Comparative Perspectives on Authorship, Credit, and AI as Co‑Author
Comparative Views on AI in Peer Review, Editorial Decision‑Making, and Discovery
Summary: Where the Literature Aligns with Your Target Themes

Confiamos que con estas capturas estamos transmitiendo la filosofía de trabajo de Undermind, basada en asistir al investigador, no en eliminar sus competencias cognitivas. De este modo, su uso no implica inevitablemente deuda cognitiva.

Referencias en el texto

Las referencias están asociadas a cada sección y a nivel de párrafo en cada sección. Podemos examinarlas de forma interactiva posando el cursor en cualquiera de los números, lo que provoca la aparición de la ventana emergente funcional que vemos en la captura.

Trabajos fundacionales y adyacentes

Fundacionales

Adyacentes

Espacio de diálogo: socio epistémico

El espacio al que hemos llamado socio epistémico o cognitivo propone nueve tipos de informes a partir de nueve esquemas de prompts predefinidos (además de la síntesis automática que ya hemos examinado), agrupados en tres opciones principales:

Get oriented. Los prompts de esta sección tienen la misión de generar orientaciones básicas.
Analysis & Critique. Prompts para comparar hallazgos y determinar líneas de confrontación, así como evidencias de calidad.
Future work. Prompts para explorar cuestiones abiertas, futuras tendencias e impactos.

Dado que estos esquemas de prompts son visibles al usuario, los podemos editar e incluso guardar aparte si vemos que son especialmente útiles.

Adicionalmente, tenemos una caja de diálogo (Tell me more about…) en la que podemos cuestionar, preguntar, objetar, etc., para establecer cualquier interacción que deseemos tener con la IA.

En mi experiencia, esta interacción llegó a ser muy incisiva, con Undermind cuestionando algunas de mis posiciones y mostrándome puntos débiles en mis argumentos de modo que me obligó a refinar mis puntos de vista.

Prompt de análisis y crítica

Al seleccionar uno de los posibles informes predefinidos, Undermind genera un prompt especializado. En este caso vemos la redacción del prompt para comparar los principales hallazgos del conjunto de papers. Este prompt es editable, e incluso podemos copiarlo y guardarlo para usarlo en otras IA si nos parece útil. Aquí tenemos por ejemplo, el esquema del prompt para comparar resultados:

Compare the top findings within these papers. Specifically, think about what aspects an expert would care about when discussing these papers, then make a comprehensive comparison, including a nicely formatted table or tables that compare these aspects. Make sure to list all important references to each topic or organizing principle. Focus in on what’s unique to this topic, rather than explaining obvious generic metrics like citation count or journal impact factor.

Fuente: Undermind

A la vista de lo anterior, es evidente que podemos reutilizarlos, en esta misma forma o adecuadamente modificados, con otras IA.

Ejemplos adicionales de contenidos de los reports de Undermind

Para ilustrar de modo adecuado la incisiva articulación de los reports de Undermind añadimos dos capturas más con ejemplos significativos de su capacidad de análisis.

Líneas de oposición

Puntos de tensión identificados en las investigaciones analizadas

Tendencias emergentes

Lista de referencias

Una vez examinadas las síntesis narrativas, tanto la generada de forma automática, como las que se pueden generar de forma selectiva, corresponde examinar cómo es la lista de referencias. Hemos destacado los siguientes elementos:

Búsqueda dentro de la lista de referencias
Opciones de ordenación de las referencias
Filtros
Exportación

Cada línea de la tabla es una referencia con los datos referenciales en la izquierda y dos opciones de resumen en la derecha: relevance y abstract. También vemos opciones de citación y de acceso al PDF (en su caso). Por último, la opción Ask Expert indica que podemos dialogar con una referencias concreta.

He comprobado que suele entregar hasta 200 referencias en cada búsqueda (hasta 201 exactamente) y que solo ofrece análisis individuales de cada referencia hasta un número. Este número parece que es propio de cada búsqueda. En varias búsquedas, las referencias analizadas superaban por poco o ser acercaban mucho a las 50 referencias. En algún caso, se limitaron a unas 20.

En esta lista de referencias he encontrado a faltar la posibilidad de seleccionar referencias individuales o en grupos (las de una página, p.e.). Ignoro si es una prestación de la versión de pago.

Informes en PDF

Cuerpo del informe

Ejemplo de contenido de un informe en PDF

Referencias incluidas en los informes en PDF

Vista del número total de referencias de un informe

Hemos hecho esta captura para mostrar que Undermind puede recuperar hasta 200 referencias en cada búsqueda.

Alertas

Para cada búsqueda podemos tener un servicio de alerta. Consiste en que Undermind nos avisa cuando encuentra nuevas referencias de alguna de las búsquedas previas. Estas alertas se pueden activar o desactivar para cada búsqueda de modo individual.

Limitaciones del Free Tier o modelo basic

Todas las funciones examinadas aquí corresponden al modo gratuito, o Free Tier como lo llama Undermind. Este modo como se ha podido mostrar ofrece funcionalidades muy amplias, probablemente suficientes para estudiante de doctorado o de máster. Pero tiene limitaciones. Las que he detectado son: por un lado, un máximo de 5 consultas al mes. Igualmente, hay un número máximo de consultas en la zona de diálogo (que no he sabido determinar -¿5?-).

Las consultas permanecen disponibles en la carpeta History del usuario, pero la ventana de diálogo (nuestro querido socio epistémico), cuando llegamos al número máximo (¿5?) deja ser operativa.

Hay que señalar que para un uso de Undermind sin estas limitaciones el coste en todo caso es asequible, en línea con las tarifas más habituales.

Conclusiones

Undermind lleva la búsqueda académica a otro nivel. Tenemos que repetir esta idea. No conozco ninguna otra IA de tipo RAG con los niveles de análisis globales e individuales de Undermind, ni con informes tan estructurados e incisivos. Tal vez la IA más parecida (aunque con su propia filosofía de trabajo) es Consensus.

Es una de las IA más honestas (si se puede usar esta expresión) de entre las especializadas en usos académicos, porque no empuja al usuario a malas praxis, es decir a usar los contenidos generados mediante «copiar y pegar» como si fueran propios.

Además la función de diálogo, la ventana de la derecha que a veces llamo socio cognitivo y a veces socio epistémico (debo aclarar mi terminología), ofrece unas prestaciones adicionales con unas funciones heurísticas destacadas. Undermind, en definitiva, nos está mostrando, ahora, cómo va ser el futuro de la búsqueda académica con IA.

Undermind AI: la búsqueda académica del futuro ya está aquí (y no es Google)