Consensus AI es un sistema de inteligencia artificial especializado en usos académicos, y muy especialmente en búsqueda y análisis de información científico-académica publicada en revistas indexadas.
Su función más destacada (pero no la única) consiste en su capacidad en determinar, a partir de una pregunta o prompt, la existencia de consenso (de aquí su nombre) basado en la investigación publicada sobre el tema planteado.
En su resultado, Consensus no se limita a responder sí/no a la cuestión, sino que además analiza la evidencia disponible (de la forma que vamos a mostrar más adelante), así como aporta una síntesis narrativa articulada con un formato de revisión de la literatura. Pero, sin que el formato sugiera (como hacen otras IA) que el usuario puede añadir su nombre en la by line y hacer pasar el resultado como si fuera de su creación.
Consensus entra en la mejor de las categorías de sistemas de IA, aquella en la cual las IA no solo producen bienes de resultado: el contenido generado, sino también bienes de proceso: la interacción cognitiva del usuario con el sistema. Esta diferencia entre bienes de resultado y bienes de proceso, la revisaremos más adelante. En lo que sigue, vamos a mostrar el funcionamiento de Consensus.
CONSENSUS AI
FUNCIONES Y GUÍA DE USO
Centro de búsquedas
La caja de búsqueda domina el centro de la pantalla de inicio de Consensus con tres elementos de selección:
- All: determina si la búsqueda se lleva a cabo en las bases de datos que utiliza Consensus, Semantic Scholar, entre ellas, o en documentos subidos por el usuario. También se puede limitar la búsqueda a una base de datos de medicina. Consensus en todo caso es totalmente multidisciplinar.
- Pro: es una de las opciones de búsqueda, y en este caso es la opción intermedia. En total hay tres opciones de búsquedas. Se diferencian por la rapidez, el número de referencias que analizan y el número de procesos que ponen en marcha para completar su respuesta. También en la extensión del resultado que entrega. Se trata de las siguientes:
- Quick, la opción de búsqueda más rápida de todas, a cambio la síntesis que aporta la lleva a cabo sobre 10 referencias, y después de ejecutar dos procesos.
- Pro: más avanzada que la anterior y aún bastante rápida. En esta búsqueda, la síntesis se lleva a cabo sobre 20 referencias y con un mayor número de procesos.
- Deep, es la más avanzada de todas. A cambio puede tardar unos minutos en responder. Para la síntesis puede utilizar hasta 50 referencias, desarrolla un total de 9 procesos y presenta diversos elementos de análisis. El informe final, sin contar las referencias, suele equivaler a unas 10 páginas con texto, tablas y diagramas.
- Filter: permite establecer diferentes parámetros que actúan como filtros. Entre ellos tenemos rangos de fechas, tipo de publicaciones, metodologías y campos de estudio, entre los principales.
Inicio de una búsqueda
En la captura se puede ver el prompt utilizado, válido para un marco teórico o una revisión de la literatura. Por si a algún lector le puede ser de utilidad, aquí la reproduzco en forma de plantilla (pueden copiar el prompt y cambiar los parámetros [TEMA] por los que sean de su interés):
| Current perspectives on [TEMA], highlighting areas of consensus, major ethical and methodological debates, and emerging standards for [TEMA] |
También se puede ver en la captura que hemos usado la opción más avanzada, Deep, y que no hemos activado ningún filtro.
Procesos
Una vez lanzada una búsqueda, vemos en tiempo real las operaciones que está desarrollando Consensus. Lo más interesante es que una vez acabados los procesos, podemos recuperar esta documentación y examinar con atención el «razonamiento» y las acciones que ha desarrollado. La siguiente captura lo muestra.
Vista con detalle de los procesos de razonamiento
Es muy interesante la opción de poder recuperar en cualquier momento la documentación de Consensus sobre las acciones llevadas a cabo y los razonamientos desarrollados. En la captura vemos la documentación final a la que podemos acceder en cualquier momento, gracias a la eficaz gestión de la información que aporta este programa.
Resultados · Síntesis narrativa
Los resultados de Consensus tienen dos grandes secciones: una síntesis narrativa con diferentes componentes (que iremos viendo), y la lista de referencias, con una serie de funciones (que también iremos viendo). Además, hay una tercera sección compuesta por una serie de ideas y sugerencias para ampliar la investigación.
En la captura vemos la cabecera de la primera sección, la síntesis narrativa. En Consensus esta sección está articulada en apartados muy significativos y con tres tipos de contenidos: texto, tablas y diagramas.
Síntesis narrativa: texto y citas
La captura ilustra el componente textual de la síntesis y el uso de citas en el texto, mediante una serie de iconos con números que se refieren a las referencias listadas al final del informe. Los iconos con el símbolo de una página son referencias de las que Consensus ha analizado el texto completo. Las demás son referencias de las que ha analizado el resumen y otros metadatos.
Los iconos que contienen los números de las referencias son interactivos. Si el usuario sitúa el cursor sobre ellos, aparece una ventana con información sobre la referencia.
Consensus meter
Uno de los diagramas de Consensus. En este caso se trata de uno de sus productos de análisis más característicos, el Consensus meter.
Consensus meter retoma el prompt y lo reformula en forma de pregunta que admita respuestas de tipo sí/no. La respuesta en este caso contempla, Yes/No, así como dos variables intermedias: Possibly y Mixed.
En el caso que hemos usado, vemos que NO hay consenso, lo cual es un dato vital en este caso. Consensus meter presenta los datos en forma de un vistoso diagrama de colores y con porcentajes. El dato N, que podemos ver arriba a la derecha muestra el número de investigaciones que ha podido analizar, 16 en este caso, lo que no está mal.
De todas formas, aunque es un buen indicador, el propio Consensus indica todas las referencias de las que no ha podido determinar el sentido de la respuesta, y a veces son mayoría. Por tanto, es un dato orientativo que hay que valorar, pero no está demostrada su fiabilidad intrínseca. En el caso de nuestro prompt, se corresponde bien con los datos reales, pero no siempre tiene que ser así.
Métodos
En cada uno de sus informes, esta IA añade una breve sección de métodos (aplicando IMRyD). Vemos que indica las bases de datos consultadas, principalmente, Semantic Scholar y PubMed. Hay una indicación no muy precisa sobre las estrategias de búsqueda y datos númericos sobre el proceso de selección (aplicando algo de PRISMA).
Diagrama de obtención de la base de la evidencia
Los informes de Consensus aportan como parte de la metodología un diagrama de flujo tipo PRISMA.
No obstante, obsérvese que al final, en el modo Deep, siempre analiza hasta 50 documentos, independientemente del número total de documentos recuperados. En estos caso, tal como señala el diagrama, se trata de los 50 trabajos de mayor calidad según su ranking de calidad, basado en criterios de número de citaciones, el impacto y reputación de la revista y la actualidad de la publicación.
Por tanto, es diferente del screening o evaluación que saldría si PRISMA lo aplica un equipo humano. Pero aquí hablamos de una IA, y la aceleración del proceso implica que resuelve el proceso de criado en minutos, en lugar de horas o días. En cualquier caso, 50 investigaciones supone trabajar con una buena base de la evidencia. Más, en todo caso, que muchas revisiones de la literatura que publican revistas de prestigio.
Temas
La sección de resultados del informe se articula como una síntesis temática, alrededor de los principales temas emergentes. En la captura vemos una parte de esta síntesis alrededor de unos de los diferentes tema detectados. el de Beneficios y oportunidades.
Temas · 2
La captura ilustra otro de los grupos temáticos identificados, en este caso, los debates éticos. En este sentido, la síntesis narrativa de Consensus satisface uno de los criterios de calidad más importantes, a saber, que la síntesis sea algo más que la suma de las partes. Esto lo consigue tanto con la categorización temática como con las tablas y diagramas.
Diagramas línea de tiempo
El diagrama de la línea temporal distribuye las referencias de forma cronológica, mostrando los años de mayor actividad investigadora. Los iconos son interactivos, de modo que al pasar el cursor por uno de ellos, aparece una tarjeta de información de la referencia.
Tabla de evidencias
La segunda de las aportaciones más características de Consensus (junto con su Consensus meter) es la Tabla de evidencias. En esta tabla, vemos una serie de afirmaciones, Claims, una estimación de la fortaleza, Evidence Strenght de esta afirmación, un razonamiento justificativo y las referencias que le otorgan soporte.
Huecos de investigación
Tabla de huecos de investigación
La identificación de huecos de investigación, tanto en forma de narración, como en formato de tabla es otra de las características de una revisión de literatura de calidad.
Cuestiones abiertas
El último componente de la estrategia sistemática de análisis y síntesis de Consensus es la sección de Cuestiones abiertas, o puntos de debate no resueltos. Este apartado se articula en dos columnas:
- Question, donde se enuncia la pregunta de investigación
- Why, donde se justifica la oportunidad de la pregunta
Valor añadido de los informes de Consensus
Con el anterior apartado, hemos visto que los informes de Consensus aportan los siguiente elementos de análisis/síntesis de valor estratégico:
- Medidor de consenso o Consensus meter
- Línea de tiempo
- Tabla de evidencias
- Tabla de huecos de investigación
- Cuestiones abiertas
Facilidades adicionales y nuevos prompts
Cuando alcanzamos el final del informe, aún tenemos funciones útiles y nuevas ideas:
- Filter. Podemos aplicar los parámetros que hemos visto más arriba para delimitar la lista de referencias. Por tanto, los filtros lo podemos aplicar tanto a priori como a posteriori.
- Export. Facilidades de exportación, pero en este caso, no de las referencias, sino del informe completo pero solamente el texto, o el informe completo con las referencias.
Referencias
Como en todo trabajo académico, hay una lista de las referencias citadas en el informe al final del mismo. Cada referencia es una fila que presenta información básica en el modo de presentación abreviado.
Modo de lista ampliada
Si elegimos el segundo de los modos de presentación, las filas de cada una de las referencias ofrecen una información rápida que se denomina Key Takeaway, algo así, la clave para retener.
Acciones adicionales al pasar el cursor
Por último, si pasamos el cursor por la fila, aparece una serie de botones, entre ellos, el primero que hemos marcado que sirve para guardar la referencia en una lista seleccionada.
Esto facilita, primero, la creación de listas bibliográficas, pero también, a posteriori, las operaciones de screening/appraisal (cribado/evaluación) para una revisión sistemática o una scoping review. Lo vemos en la siguiente captura.
Screening/appraisal
Ante una lista de referencias seleccionadas, podemos proceder a su evaluación, una a una, mediante la lectura del resumen, como vemos en esta captura.
Referencias adicionales
La lista final de referencias incluye las 50 seleccionadas como base para la elaboración de la síntesis narrativa. Pero hay un botón, Load more results, que permite seguir cargando referencias relacionadas con el prompt.
Diálogo con grupos de artículos (Ask a paper)
Mediante la opción Ask a paper, podemos seleccionar una o más referencias, hasta un total de 5, y dialogar (chatear) solo con este grupo seleccionado, con lo cual las respuestas estarán centradas solo en los temas tratados en estas referencias.
Ordenaciones y exportaciones de referencias
Como en toda base de datos, disponemos de opciones para ordenar las referencias por diferentes criterios, y para exportarlas a nuestra gestor personal de referencias, Mendeley o Zotero.
Tipos de búsqueda
Una vez revisadas las funciones de la búsqueda más avanzada, Deep, podemos mostrar la forma de seleccionar cualquiera de las tres: Quick, Pro, Deep.
Funciones adicionales
No hemos mostrado todas las funciones de búsqueda aún. Entre ellas debemos destacar dos adicionales:
- Crear un guión o esquema, Draft an outline
- Crear una tabla
Creación de tablas
Tabla ejemplo
En las dos capturas precedentes ilustramos el modo de crear una tabla a partir de una petición específica como la que mostramos en la primera captura.
En lo que sigue, mostramos mediante capturas anotadas, algunas funciones que resulta útil conocer, entre ellos los filtros de búsqueda, la búsqueda rápida, el menú lateral y otros. Ven a continuación.
Filtros de búsqueda
Los filtros de búsqueda se pueden aplicar como parte del prompt o se pueden aplicar a la lista de referencias.
Menú lateral
Consensus proporciona una barra lateral con un menú en el que, además de lanzar nuevas búsquedas, destaca la historia de las búsquedas anteriores, y un gestor de información denominado Research Hub, en el podemos crear carpetas que agrupan tanto búsquedas como referencias.
Gestión de la información
Research Hub es un sistema de carpetas para reunir búsquedas de un mismo tema o proyecto, y para crear bibliografías unificadas.
Búsqueda rápida
La búsqueda rápida se activa con la opción Quick, que a cambio de responder de inmediato, utiliza solo 10 referencias. Para consultas de clarificación conceptual, p.e., puede ser la opción perfecta.
Resultado búsqueda rápida
Las búsquedas rápidas se resuelven con un solo paso y 10 referencias, pese a lo cual ofrece resultados notables.
Opciones de explotación
Podemos exportar el informe completo con citaciones en formato de texto o de documento PDF.
Búsquedas con prompts en idiomas distintos del inglés
Hicimos la mayor parte de las pruebas con prompts en inglés, pero quisimos probar cómo se desenvuelve en otros idiomas; en este caso, en español y en catalán. En las capturas siguientes pueden ver que en ambos casos las resuelve bien en el momento de generar la síntesis narrativa:
Consensus se desenvuelve bien a la hora de presentar una síntesis narrativa coherente en los dos idiomas. Sin embargo había diferencias en las referencias manejadas, al menos en una revisión superficial.
Mi apreciación es que seguramente, si queremos asegurar la mayor precisión es más fiable usar prompts en inglés, pero en todo caso esto requiere análisis adicionales que, en esta ocasión, no hemos efectuado.
En lo que sigue, una vez vistas las principales funciones, corresponde ahora evaluar otras cuestiones.
Filosofía human-in-the-loop
A diferencia de otras IA, Consensus no favorece un uso ilegítimo, del tipo copiar y pegar, como sí hacen otras IA. Este uso ilegítimo o claramente fraudulento, lo inducen algunas IA al proporcionar informes acabados que imitan en todo a un informe producido de forma intelectual por un humano.
En cambio, Consensus aporta unos informes que, por un lado tienen un enorme valor añadido gracias a sus diversos componentes, como Consensus meter y otros, pero por otro lado, el material que ofrece no puede pasar por un artículo creado por un humano de forma convencional. Al menos no sin trabajo adicional. Ya es mucho.
Además, los informes de Consensus tienen valor heurístico. Impulsan la comprensión de un problema de investigación o de un ámbito del conocimiento, y aportan ideas para nuevas investigaciones, pero no sin interacción y control continuado del humano.
Es por tanto uno de los sistemas de IA que, de forma nativa impulsa la aplicación de la interacción crítica escalonada y el marco Veritas que tanto nos conviene a la hora de usar la IA en la academia.
¿Cómo es la calidad del informe?
El informe completo que hemos usado para esta reseña se puede leer aquí:
El lector interesado puede leer el informe y decidir por su cuenta. Mi opinión, tras leer el informe, interactuar con sus diagramas, revisar la bibliografía, etc., es que se trata de un informe de calidad.
No he detectado ningún problema conceptual ni errores factuales (aunque, que yo no los haya detectado no garantiza nada). Está redactado, hasta dónde puedo opinar de una lengua que no es la mía, con la máxima corrección y con elegancia de recursos. Su lectura y la exploración de sus esquemas y diagramas me ha resultado de enorme utilidad.
Me ha servido para evaluar algunas de mis ideas y corregir o refinar otras, me ha ayudado a descubrir trabajos clave sobre el tema. Me ha ayudado a ordenar mis ideas y me ha servido para preparar dos de las últimas conferencias o seminarios que he impartido recientemente sobre estos temas. La calidad general de Consensus, en mi opinión subjetiva, me parece de máximo nivel. Para mí, es tal vez, la mejor herramienta de IA para usos académicos que ofrece el mercado, al menos de las que he podido probar, que son bastantes (pero no todas).
Transparencia
Hemos señalado que Consensus elabora un ranking de calidad de las referencias obtenidas, y a partir de aquí utiliza las mejores, las 10, 20 o 50 mejores según el tipo de búsqueda, Quick, Pro o Deep.
La documentación de ayuda de Consensus indica que los criterios que utiliza para elaborar su ranking (aplicados en varias fases sucesivas) son los siguientes:
- Recency of publication
- Citation count
- Journal impact and reputation
A juzgar por la calidad de las referencias examinadas, los criterios parecen funcionar bien, en todo caso, todas las referencias examinadas mostraron una alta relevancia. Lo que no sabemos, claro, es si son las más relevantes. Pero con los sistemas de información de cualquier tipo siempre tenemos un problema similar.
Me gustaría que formase parte de la documentación de sus razonamientos las estrategias de búsqueda concretas utilizadas. Como ya he señalado, las referencias me han parecido todas relevantes, lo que demuestra que el sistema que utiliza es eficaz en esto, pero no podemos saber si son las más relevantes.
Al menos, podemos decir que no hemos detectado falsos positivos. En esto Consensus es eficaz para ayudar a descubrir trabajos relacionados con el tema, y la amplitud de resultados que devuelve da bastante tranquilidad. Creo que es la IA de tipo académico que más resultados entrega y la que, por cierto, mejor los formatea.
Conclusiones
Consensus es una excelente herramienta de búsqueda y exploración del conocimiento con aportaciones originales y valiosas, y sobre todo es una herramienta de IA con valores académicos de integridad. Sus valores se corresponden con la idea del así llamado Human-In-The-Loop o con el uso mediante interacción crítica escalonada (no con copiar y pegar).
Lejos de sugerir un uso inadecuado de sus resultados, propone una forma de trabajo interactiva en la cual el usuario obtiene lo mejor de la IA sin incurrir en una deuda o una atrofia cognitiva, ya que los resultados son el punto de partida.
El esquema que siguen sus informes favorecen el descubrimiento y el análisis crítico, al mismo tiempo que ofrecen facilidades para comprender los aspectos estratégicos de los problemas examinados.
Para saber más
- NotebookLM: inteligencia artificial para usos académicos, curación de contenidos y ¿revisiones de la literatura?
- Google Gemini para la generación de contenidos intelectuales: guía paso a paso
- Inteligencia artificial y revisiones de la literatura: validez, fiabilidad e implicaciones cognitivas
- Inteligencia artificial y tesis doctorales: elementos éticos y funcionales
- Cómo utilizar contenidos generados por IA en trabajos académicos: el marco Veritas de verificación, evaluación, atribución y edición
- La externalización de la mente: análisis integral de la atrofia, deuda y sedentarismo cognitivo en la era de la inteligencia artificial generativa [Informe generado por Google Gemini]
- Atrofia cognitiva, deuda cognitiva y sedentarismo cognitivo por el uso de chatbots y sistemas de IA generativa [Informe generado por ChatGPT]
Aclaración
No tengo relación comercial ni de ningún tipo con la empresa productora de Consensus, aparte de ser usuario de la versión de pago de este programa. En general, en ninguna de mis reseñas tengo relaciones ni comerciales ni de ningún tipo con las empresas de los programas que analizo, ni este sitio acoge publicidad ni enlaces de afiliados.