Consensus AI para investigadores: de la exploración a la gestión del conocimiento [guía de uso]

Consensus es uno de los mejores sistemas de inteligencia artificial para búsqueda, exploración, descubrimiento y gestión de información académica. Vamos a considerar cada apartado.

• Búsqueda: porque permite operaciones de recuperación de información que proporcionan como resultado listas de referencias bien organizadas.
• Exploración: consiste en los elementos de una IA generativa que analiza y sintetiza información en diversos formatos: textual, tabular, gráfico, etc.
• Descubrimiento: la búsqueda en Consensus es semántica, esto es, va mas allá de las palabras clave. Esto incluye componentes como Citation Graph.
• Gestión: incluye funciones como My Library y de organización de la información en carpetas o proyectos.

De este modo, reúne en un mismo sistema sin costuras al menos dos grupos de funcionalidades que hasta hace poco solo podíamos encontrar por separado:

• Recuperación de información > como funciones propias de una base de datos académica.
• Exploración del conocimiento > como funciones propias de un sistema de inteligencia artificial generativa.

Consensus es útil por tanto para operaciones clásicas de búsqueda y recuperación de información, por un lado, y para las nuevas operaciones características de IA generativa, por otro lado.

Escenarios para IA académicas: tesis doctorales y nuevos proyectos

Consensus no limita su utilidad a ninguna fase específica de la investigación, pero nuestro punto de vista es que se trata de una IA idónea para estos usos:

• Tesis doctorales y trabajos similares, como trabajos final de máster. Al proporcionar funciones de búsqueda y recuperación de información, más funciones de síntesis del conocimiento, es idóneo para las fases iniciales de una investigación doctoral. Tiene el potencial para agilizar las fases asociadas a la construcción de marcos teóricos, marcos conceptuales o marcos metodológicos. Aporta no solo bibliografía clave, sino el tipo de síntesis de la evidencia que ayuda a un investigador predoctoral a entender mejor su área de conocimiento.
• Memorias para solicitar proyectos de investigación. Por razones similares, a los miembros de un equipo encargados de redactar una memoria para solicitar proyectos financiados competitivos, les puede ayudar a preparar el apartado de antecedentes o de estado de la cuestión del proyecto.

Resultados en Consensus

Ante una consulta o prompt, con Consensus tenemos dos conjuntos de resultados:

• Una lista de referencias, esto es, el output característico de una base de datos académica como WoS, Scopus, Google Scholar o Semantic Scholar (después, volveremos sobre esto).
• Una síntesis de la evidencia. El output característico de una IA generativa es una síntesis narrativa. Pero en el caso de Consensus podemos hablar de una síntesis de la evidencia, según mostraremos,

Ambos conjuntos están perfectamente relacionados. La lista de referencias es el resultado de una operación de recuperación de información que Consensus lleva a cabo con una metabúsqueda en Semantic Scholar y otras fuentes y repositorios académicos. En total, Consensus declara consultar un corpus de casi 200 millones de artículos científicos.

Dependiendo del tipo de consulta utilizará entre 20 y 50 referencias, seleccionadas mediante un cribado automático en el quedan seleccionadas las referencias que combinan varias propiedades, entre ellas la relevancia respecto al tema, la recencia y la importancia de la fuente.

En lo que sigue, vamos a presentar un tutorial de uso de Consensus a partir de un tema de interés personal real, y que puede interesar a los lectores de este sitio. Se trata de la co-creación dialógica humano-IA.

Por tanto, el tema que utilizaremos no es, en este caso, una simulación. Dependiendo de la explotación de los resultados más adelante podrá servir como punto de partida de una publicación independiente sobre el tema, pero esto último está por ver.

CONSENSUS
GUÍA DE UTILIZACIÓN PARA BÚSQUEDA DE INFORMACIÓN Y SÍNTESIS DE LA EVIDENCIA EN ENTORNOS ACADÉMICOS

Pantalla de inicio

Una vez identificados ante la aplicación, vemos una pantalla principal con dos apartados:

1. Panel vertical (sidebar) con opciones básicas como crear nuevas búsquedas (threads), acceder a la biblioteca personal (My Library) o al historial de búsquedas anteriores.
2. Caja de consultas. Aquí entramos las búsquedas. Las consultas las podemos hacer mediante palabras clave (incluso con operadores booleanos), o con frases en lenguaje natural o prompts.

Ahora vamos a centrarnos en la caja de consultas.

Caja de consultas · Opciones principales

Las opciones disponibles para una operación de consulta en Consensus son las siguientes:

1. Espacio para entrar la consulta, en formato de prompt (lenguaje natural) o de palabras clave.
2. Icono para adjuntar documentos. Estos pueden seleccionarse de nuestra biblioteca personal gestionada con Consensus (My Library) o los podemos subir desde nuestro disco duro. Quienes posean una cuenta en el gestor bibliográfico Zotero, pueden importar documentos también desde el mismo.
3. Mediante Corpus tenemos tres opciones:
   • All: permite lanzar una meta búsqueda sobre Semantic Scholar y otras fuentes, lo que equivale a buscar entre unos 200 millones de documentos, principalmente artículos de revistas con evaluación.
   • Medical: focaliza la búsqueda en unos 8 millones de artículos de medicina y especialidades relacionadas.
   • My Library: focaliza la búsqueda en los PDF que forman nuestra biblioteca personal dentro de Consensus. Esta biblioteca la podemos ir construyendo como resultado de búsquedas previas o por importaciones directas de documentos.
4. Deep. Este botón permite conmutar entre una búsqueda tipo Pro o tipo Deep Review. En la captura hemos activado la opción Deep. Equivale a una revisión de la literatura hecha de modo totalmente automática. Es la opción que tarda un poco más en ejecutarse (aunque nunca necesita más de un minuto) y en la que analiza hasta 50 investigaciones. Los resultados pueden contener muchas más referencias, pero el análisis se centra en las 50 investigaciones más relevantes.
5. Filter. Permite añadir restricciones o parámetros adicionales de búsqueda. Los más importantes: (1) rangos de fechas, por años; (2) revistas por nivel de impacto, Q1-Q4; (3) número mínimo de citaciones que deben tener los artículos seleccionados; (4) metodología; (5) fuentes; (6) áreas temáticas; (7) países.

Búsqueda en modo Deep review = revisión de la literatura

En la captura mostramos una consulta en forma de prompt simple, esto es compuesto por esta frase:

• Human–AI dialogic co-creation in academic research and publication

En Consensus no hace falta los apoyos habituales del tipo «actúa como un experto en …», «el contexto es ….», ni indicaciones sobre cómo debe ser el formato de salida del tipo «el informe debe ser ….».

La razón es que, si no indicamos lo contario, tanto el contexto de trabajo, a saber, la academia, como el formato de salida, a saber, síntesis de la evidencia, ya están predeterminados y hacen innecesarias esas expresiones que en cambio son imprescindibles en IA generalistas.

No obstante, si en alguna ocasión necesitamos modificar el formato de salida, podemos hacerlo de forma explícita como haríamos con una IA generalista.

Lo que no podemos cambiar es el contexto de trabajo ya que Consensus da por supuesto que es la academia o entornos similares (centros de I+D, etc.), y siempre utiliza como base de conocimiento artículos científicos, no páginas web ni documentos de Internet.

Los prompts en Consensus

Dos de los prompts característicos en Consensus son los siguientes:

• Pregunta o hipótesis. En este tipo de prompts, Consensus espera una pregunta del tipo SÍ/NO. Ejemplo:
  • ¿El periodismo de soluciones aumenta la fidelización de audiencias?
• Tema de investigación. En este, el prompt es el enunciado de un tema o de un problema de investigación Un ejemplo ya lo hemos visto más arriba. Otro podría ser la pregunta anterior convertida en tema de investigación:
  • Periodismo local y fidelización de audiencias.

Vamos a examinar estos dos tipos:

• Prompt tipo pregunta o hipótesis. Primero, consensus intentará determinar si existe evidencia científica para responder a la pregunta. Segundo, en caso de que exista la evidencia, intentará determinar si ésta confirma o niega la pregunta. En todos los casos presentará una síntesis narrativa. Debe señalarse que el uso original de Consensus se concibió para responder a esta clase de prompts, pero pronto se amplió el espectro de sus posibilidades.
• Prompt tipo tema de investigación. En los prompts de tipo tema, Consensus se centrará en la síntesis narrativa. Pero, si detecta evidencias claras en torno a una posible pregunta derivada del tema, aplicará, también, un procedimiento similar al del primer caso. Esto se entenderá cuando veamos un ejemplo.

Nada limita en principio los tipos de prompts que podemos proponer en Consensus. Por ejemplo, nosotros hemos comprobado que acepta bien este otro tipo:

• Ecuación booleana. Consensus interpreta bien prompts formados por ecuaciones booleanas. Al menos, en nuestras pruebas (no sistemáticas) ha funcionado bien. Por ejemplo, en lugar del prompt indicado más arriba podríamos usar este:
  • co-creation AND academia AND artificial intelligence

La idea es que, a veces, podemos tener mayor facilidad para exponer de forma más precisa nuestra necesidad de información mediante palabras clave en lugar de frases del lenguaje natural.

Otros prompts pueden consistir en:

• Prompts de análisis o de diálogo sobre uno o más documentos: estos los podemos subir de nuestro disco duro o seleccionarlos de nuestra biblioteca personal. A partir de un documento o de un grupo de documentos podemos solicitar su análisis o cualquier tipo de verificación sobre los mismos. Consensus en su newsletter con consejos de uso, sugiere este prompt:
  • Can you look through this manuscript? What are relevant studies that support or challenge the findings? And what are papers that should definitely be cited alongside the study [Fuente: newsletter de Consensus]

Por último, podemos señalar los prompts para solicitar información sobre métodos o procesos:

• Prompts de procedimientos. Nada nos impide probar formatos de prompt totalmente libres. En nuestras pruebas recientes hemos probado con un prompt como este (en español en este caso) con un buen resultado:
  • ¿Cuál es la forma recomendada de aplicar la co-creación dialógica humano-IA en una actividad académica para mejorar la creatividad pero preservar la responsabilidad autoral humana?

Vean una sección de la respuesta al anterior prompt:

Por último, Consensus sugiere también el siguiente tipo de prompts:

• Prompt de análisis de solicitudes de financiación de proyectos (grants). Consensus en concreto sugiere este interesante prompt:
  • Find studies with similar questions to this grant, compare the experiment design, study populations, and stated limitations, and find gaps in the literature today that actually address our proposal and justify why a grant might be provided heret. [Fuente: newsletter de Consensus]

Nos queda decir alguna cosa sobre el idioma. Suponemos que Consensus da mejores resultados con prompts en inglés, pero en nuestras pruebas ha funcionado muy bien también en español (y otros idiomas) como en el prompt que hemos mostrado más arriba.

Para lo que sigue, y los resultados que mostraremos después, hemos uso un prompt tipo tema de investigación, y como único filtro un rango de fechas: artículos publicados a partir del año 2023.

Panel de resultados

El panel de resultados es de un enorme interés por la cantidad de información que incluye por centímetro cuadrado. Vamos a intentar hacerle justicia. Lo primero que vemos es que la respuesta a un prompt se distribuye en dos bloques:

1. El primer bloque, el de la izquierda, incluye información sobre la búsqueda + síntesis narrativa (la respuesta en sí). La información sobre la búsqueda nos permite examinar los 31 pasos que ha seguido para recuperar información, para seleccionar los documentos más relevantes y examinar las 50 mejores investigaciones. La síntesis narrativa (la respuesta en sí) queda más abajo de la captura y la examinaremos después con detalle.
2. El segundo bloque incluye las referencias. Se trata de la lista completa, enormemente enriquecida, de las referencias recuperadas. Las funciones de este apartado los mostraremos después con el detalle que merece, ahora podemos indicar que muestra el título e información referencial básica de cada documento, un resumen generado por Consensus y un menú superior para llevar a cabo diversas acciones con la lista de referencias.

Vamos a examinar cada uno de los bloques para explicar mejor sus funcionalidades.

Trazabilidad de la búsqueda

Dice la teoría, que un buen sistema de IA debe generar confianza en el usuario, y que esta confianza se gana mostrando información de cómo la IA ha elaborado su respuesta. En concreto, qué pasos ha dado y cómo son de trazables estos pasos. En un sistema de uso académico, esto es básico. Consensus lo resuelve del modo que mostramos en la captura.

Podemos ver que Consensus informa de que ha dado 31 pasos. Cada uno de ellos está documentado, aunque en la captura solo vemos los primeros. Nos indica en cifras un embudo de conversión según el cual, entre todas las búsquedas que ha lanzado, ha recuperado un total de 39 millones de referencias, de las que un cribado inicial ha dejado unas 2 mil elegibles, y que, de estas, un cribado adicional ha seleccionado las 50 más relevantes para el análisis final.

Después viene la lista detallada de los 31 pasos dados, en cada uno de los cuales, Consensus ha recuperado información. Esto incluye unas 20 búsquedas o más en las que ha desagregado el prompt inicial. Tres ejemplos de tales búsquedas desagregadas:

• theoretical frameworks for human-AI co-creation in academy
• models of dialogic human-AI collaboration in knowledge production
• foundations of human-AI interaction in scholarly publishing

Otro de los pasos consiste en usar una función que denomina Citation Graph y que le sirve a Consensus para expandir la búsqueda por análisis de citaciones. De cada uno de los 31 pasos, se puede obtener información ya que dispone de su correspondiente enlace de ampliación donde podemos ver los resultados de cada paso.

Lista de referencias

Creo que solamente la lista de referencias justificaría por si sola el uso de Consensus, dada su enorme riqueza de funciones. Lo podemos ver en la captura:

• Funciones globales. Los iconos de la parte superior nos indican funciones disponibles que afectan a toda la lista. El primero permite guardar las 50 principales referencias en una colección personal, que a su vez es parte de My Library. El segundo permite exportar la lista de resultados en diversos formatos. Los tres últimos iconos permiten elegir diferentes estilos de presentación de la lista de resultados.
• Key takeaway. Una idea destaca en función del prompt utilizado. Es una especie de resumen a medida generado por Consensus.
• Acceso a citas (quotes) destacadas, siempre en función del prompt.
• Tipo de artículo. Consensus determina, si encuentra las pistas correspondientes el tipo de artículo. En este caso, artículo de opinión.
• Nombre de la revista y número de citaciones. La fuente del artículo y las citas recibidas.
• Fila de opciones individuales aplicables a cada artículo: (1) guardarlo en nuestra colección, (2) generar un grafo de citaciones, (3) obtener la forma de citar el artículo, (4) acceder al artículo original y (5) obtener el PDF.

Paper search

De hecho, Consensus tiene una función exclusivamente dedicada a búsqueda y recuperación de información, disponible en el panel lateral. Se denomina Paper search. La siguiente captura ilustra el uso de esta función:

Vemos que en la opción Paper search convierte a Consensus en una base de datos académica convencional. Devuelve resultados de forma rapidísima y se limitan a una lista de referencias que satisfacen la consulta. Podemos apreciar que incluye la opción de (re)preguntar a Consensus sobre los resultados.

Cuando únicamente necesitemos una lista de referencias rápida, es la opción ideal.

¿Síntesis de la evidencia o síntesis narrativa?

Llegamos al producto tal vez más interesante de Consensus y a la vez el más genuinamente debido a la IA: la síntesis narrativa, que en el caso de esta IA adopta claramente la cualidad de una síntesis de la evidencia.

¿Cuál es la diferencia? Cuando usamos una IA generalista el output es una síntesis narrativa, ya que suele tener la forma de un discurso textual que presenta una narración coherente y que puede estar acompañado de otros formatos (tablas, diagramas, etc.).

Cuando usamos una IA académica, y más aún en el caso de Consensus, esta síntesis narrativa se enfoca a sintetizar la evidencia disponible en las investigaciones analizadas, de este modo adquiere una cualidad característica de las revisiones de la literatura y entonces podemos hablar de forma más apropiada de síntesis de la evidencia. La tabla siguiente lo resume:

Tabla 1: síntesis narrativa vs síntesis de la evidencia

Queda por señalar que las síntesis de la evidencia son una clase de síntesis narrativas. Pero algunas síntesis de la evidencia pueden ser de otra clase. Por ejemplo, hay síntesis de la evidencia que combinan, mediante técnicas de estadística inferencial, resultados cuantitativos de diferentes investigaciones. A esta clase de síntesis no narrativas, se las denomina a veces metasíntesis en la literatura especializada.

En el caso de Consensus se trata efectivamente de una síntesis de la evidencia de enfoque típicamente académico y claramente narrativo, aunque añade otras formas no narrativas, como tablas, diagramas y agregaciones numéricas de resultados.

En todo caso, en la parte narrativa destaca el uso de citas incrustadas en el texto, como buena praxis, para evitar pérdida de atribuciones por el uso de esta IA. Esto es, si alguien utiliza Consensus y no cita las fuentes originales, será una mala praxis atribuible totalmente al usuario (nefasta, en realidad) y no a Consensus que, en este sentido «hace los deberes».

Uso interactivo de Consensus

Algo que puede pasar desapercibido y, en cambio, es una funcionalidad excelente es el efecto que genera el acto de situar el cursos en cualquier referencia del texto. Lo hemos intentado mostrar en la captura.

Los informes generados por Consensus los podemos explorar totalmente interactiva. En concreto, si nos interesa en especial alguna parte del informe, como en el caso de la captura, podemos situar el cursor sobre cualquiera de las referencias asociadas. Lo que sucede entonces es lo siguiente:

• Queda destacada la afirmación que Consensus ha obtenido de la referencia en cuestión. Es la parte que vemos sombreada en azul en la captura.
• Aparece una ventana flotante con información de la referencia sobre la que hemos puesto el cursor. En la captura, hemos puesto el cursor sobre la referencia AMAYREH 2025. Vemos entonces que aparece el resumen del documento, además de una serie de opciones, como obtener la citación bibliográfica, guardar la referencia en nuestra biblioteca y acceder al documento completo entre otras.

El efecto global es que la lectura de los informes generados por Consensus puede ser cognitivamente interactiva si el usuario está realmente interesado en investigar y no solo en utilizar el informe de manera pasiva.

Una exploración sistemática así de los informes generados por Consensus es una forma de compensar la deuda cognitiva que suele ir asociada al uso acrítico de la IA. Es un punto notabilísimo a favor de Consensus y dice mucho de su ética al respecto.

Funciones globales

Vamos a comentar ahora otros aspectos globales de la síntesis de la evidencia. En la captura precedente hemos destacado tres funciones:

• guardar la consulta en una de nuestras colecciones;
• modificar el tipo de citación usada en el texto, bien mediante número de referencia o bien por sistema autor/año;
• compartir el resultado generando una URL que permita al que la conozca acceder a los resultados. En este último caso, cabe señalar que también tenemos la opción de mantener o revertir el resultado al modo privado.

Para el lector interesado, aquí tiene el enlace para revisar este resultado:

• https://consensus.app/search/human-ai-co-creation-research/CTbyl2KyQ7alRxq981GmDA/

A continuación, vamos a examinar por separado las formas adicionales de síntesis no narrativas (tablas, diagramas, etc.) que proporciona Consensus y que son: (1) Consensus meter, (2) Foundational papers, (3) Top contributors, (4) Key claims and evidence strengths, (5) Research gaps y (6) Open research questions.

Consensus meter

Los informes con la opción Deep siguen una estructura determinada que incluye varias formas de sintetizar la evidencia encontrada gracias a los análisis de las investigaciones. Una de las más características es el denominado Consensus meter, del que podemos ver un ejemplo en la captura precedente.

Consensus meter transforma cualquier prompt temático en un prompt tipo pregunta SÍ/NO. La transformación que ha hecho en este caso es la siguiente:

Prompt original

• Human–AI dialogic co-creation in academic research and publication

Prompt transformado en pregunta

• Does human-AI dialogic co-creation improve academic research and publication outcomes?

Es importante señalar que la pregunta la ha transformado Consensus siguiendo su propio criterio. En este caso, parece muy acertado, aunque sin duda, serían posibles otras preguntas.

Foundational papers

La tabla Foundational papers es otra de las formas de síntesis de la evidencia complementarias de los informes tipo Deep. Es una tabla que aparece en la sección Key papers, y su número es variable, pero siempre limitado. En este caso, la IA ha decidido que son tres los artículos que adquieren la categoría de obras fundacionales, lo que a veces llama también obras semilla.

Top contributors

Por su parte, la tabla Top Contributors destaca autores y revistas más destacadas del corpus analizado. Nuestra experiencia es que, en ámbitos más consolidados la tabla suele proporcionar orientaciones valiosas. En otras consultas, p.e. sobre ética de la IA en la academia, esta tabla identificó muy bien los autores y las revistas clave.

En el caso de nuestra consulta vemos que todos los autores destacados los ha extraído de un mismo artículo lo que deja claro que la utilidad en este caso es limitada. Pero es importante destacar la existencia de este formato en los informes de Consensus porque suele dar buenos resultados.

Key claims and evidence strengths

El valor de esta tabla de evidencia es imposible de exagerar. Veamos sus componentes de forma esquemática:

• Filas: las filas son las «claim» o afirmaciones. En el caso que nos ocupa Consensus ha derivado cinco afirmaciones y por tanto tenemos cinco filas.
• Columnas:
  • (1) Enunciado de cada afirmación (Claim): presentadas en forma de proposición asertiva.
  • (2) Fuerza de la evidencia (Evidence Strength): señalada mediante un gráfico de barras verticales y un color. Los valores posibles son: evidencia fuerte, moderada o débil.
  • (3) Razonamiento (Reasoning): una breve presentación de las razones que justifican cada afirmación.
  • (4) Artículos (Papers): referencias de las cuales la IA ha derivado cada afirmación y sus propiedades correspondientes.

Vamos a analizar la primera y la última de las afirmaciones, porque merece la pena entender bien esta tabla:

Afirmación 1

• Afirmación: Human–AI co-creation often improves content-generation workflows
• Evidencia: Fuerte. Significa que diferentes investigaciones coinciden en esta afirmación.
• Razonamiento: Supported by meta-analysis, experiments, and workflow evaluations, but task-specific
• Fuentes: las cuatro referencias con el sistema autor/año de las que ha extraído la evidencia; si pasamos el cursos por cada una de las referencias tenemos acceso a la información bibliográfica completa.

A continuación, la captura de esta afirmación en detalle:

Afirmación 5

• Afirmación: AI deserves formal co-authorship in publications
• Evidencia: Débil. Significa que, a pesar de que hay autores que la proponen, su aceptación es minoritaria
• Razonamiento: The claim is contested and conflicts with dominant accountability standards
• Fuentes: las tres referencias con el sistema autor/año de las que ha extraído la evidencia

La captura para ver el tratamiento gráfico de esta afirmación:

Research gaps

Se dice que una buena revisión de la literatura debe ser capaz de detectar huecos de investigación.

La penúltima de las estructuras que vamos a considerar es justamente la que Consensus denomina Research Gaps.

Como podemos ver en la captura la tabla se forma con el cruce de lo que Consensus llama Topic/Outcome y una serie de aspectos del área, en este caso los aspectos tienen enunciados tales como Study Designs o Equity and Global Effects.

Las celdas que se generan con el cruce de estos dos componente presentan un cardinal. Veamos el caso de la celda que se genera con el siguiente cruce: Academic writing quality y Study Designs. Vemos que aparece el número 10. Hemos de suponer que se refiere a que Consensus ha encontrado 10 investigaciones que tratan este tema. Sería entonces un cruce relativamente bien cubierto.

En cambio, el cruce entre Research ideation y Equity and Global Effects solo presenta una investigación. Podría corresponder entonces a un posible hueco de investigación, igual que otras celdas donde aparecen números muy pequeños, pongamos tres o menos investigaciones.

Dudas que nos sugiere esta tabla al margen de su utilidad intuitiva: no sabemos que diferencia exactamente un Topic/Outcome, como Academic writing quality, y los otros componentes con los que se cruza como Study Designs. ¿Qué diferencia una cosa de otra? No hemos sabido ver la diferencia. Una lástima que no haya un enlace de explicación de esta sugerente tabla, a la que, aún sin estar seguros de saber interpretarla al cien por cien, es oportuno darle nuestra atención.

Open research questions y prompts de expansión

La última tabla que vamos a considerar se parece a la anterior, ya que trata de cuestiones de investigación abiertas. Por alguna razón, Consensus las separa. Seguramente, porque en este caso se trata de formas de extender o ampliar el foco de la investigación, más que una identificación de huecos de investigación. Además, las cuestiones abiertas tienen forma de pregunta en lugar de cruce de temas.

La tabla tiene dos columnas:

• Question. La pregunta que ayuda a expandir el tema. La primera pregunta, por ejemplo, señala: «Which dialogic interaction patterns most reliably improve scholarly originality without reducing authorial ownership?«
• Why, esto es, porqué propone esta pregunta. En este caso, el porqué es el siguiente: «Ownership gains and creativity gains do not always align across writing and ideation studies«

Mi estimación subjetiva para esta cuestión de investigación abierta concreta es que la Question es excelente, pero el Why no estoy seguro de entenderlo. No es importante mientras la pregunta sea acertada. Hay que tener en cuenta que es el enunciado interrogativo de la Question el que actúa como nuevo prompt si hacemos clic en el mismo.

La siguiente captura muestra parte del resultado de la este nuevo prompt:

Es fácil ver, solamente leyendo la introducción, el acierto del prompt, pues ha ampliado el tema por la interesante faceta de cómo preservar el protagonismo epistémico humano en todo el proceso.

Estructura global de un informe Deep review

Una vez revisados algunos componentes, nos falta la visión global de cómo es la estructura completa de un informe Deep review, para lo cual presentamos ahora los diferentes apartados que lo forman (tomamos los títulos literales del caso considerado):

1. Introduction. Una primera síntesis global, presentando los ítems más importantes, que ocupa varios párrafos. Incluye el Consensus meter.
2. Methods. Explica la metodología utilizada y aporta datos de trazabilidad de las operaciones de búsqueda y la evolución del proceso de cribado basado en datos numéricos. Lo más interesante es que presenta las 22 búsquedas diferentes lanzadas y los resultados de cada una.
3. Results. Este apartado se subdivide en los siguientes:
   • 3.1. Key papers. Esta sección la hemos presentado más arriba.
   • 3.2. Writing processes. Este epígrafe y los siguientes sirven para organizar los diferentes tema identificados. En este caso, este apartado aborda las investigaciones que se ocupan del proceso de escritura.
   • 3.3. Research ideation. El segundo de los temas identificados. En este caso, este tema lo trata con una tabla. Lo hemos ilustrado más arriba.
   • 3.4. Publication governance. Tercero de los temas identificados. En el informe que nos ocupa abarca dos párrafos. Forma parte de este apartado, pero sin numeración específica los siguientes contenidos. (1) Results timeline. Una tabla con las referencias analizadas distribuidas por año de publicación. (2) Top contributors. Lo hemos ilustrado más arriba.
4. Discussion. Ofrece una síntesis comparando las diferentes investigaciones analizadas. Incluye la tabla de Key claims and evidence strengths.
5. Conclusion. Otra forma de síntesis, menos extensa que la anterior, pero más en tono asertivo. Incluye las tablas Research Gaps y Open Research Questions.
6. References. No aparece como un apartado incluído en el informe, sino como un enlace a una ventana diferente en la que podemos hacer una serie de operaciones como veremos más adelante.

El motivo de ofrecer las referencias como una ventana independiente es para poder proporcionar la serie de funciones que hemos intentado recoger más arriba en esta guía. En versiones anteriores de Consensus, la lista de referencias ocupaba toda la pantalla. Ahora ocupa un poco más de la mitad de la pantalla. Preferíamos la versión a pantalla completa, por parecer que permite un uso más ergonómico. Pero puede ser una preferencia subjetiva.

Nos corresponde examinar ahora, aunque sea de forma somera, el Citation Graph, la última incorporación a Consensus, aún en modo beta en el momento de este análisis.

Citation Graph

Citation Graph es un nuevo módulo de descubrimiento de información de Consensus. Funciona a partir de una búsqueda, seleccionando hasta cinco papers o referencias a los que se denomina seeds (semillas). A partir de esta selección, este módulo genera un grafo como el que mostramos a continuación:

Esta clase de grafos referencias se basan en análisis de citas. En el caso de Citation Graph utiliza tres señales bibliométricas: direct citation (citaciones directas, en cualquiera de las dos direcciones); co-citation (el documento semilla y otro documento aparecen citados en un tercer documento) y bibliographic coupling (el artículo semilla y otro documento considerado citan a una misma tercera obra).

En la captura hemos destacado las citaciones directas, o sea las que parten de, y llegan al documento semilla.

Vemos también que para este grafo ha utilizado 20 referencias, pero podemos parametrizar esto y pedir el análisis de hasta 60 referencias.

Si elegimos bien el documento semilla (o grupo de documentos), podemos tener acceso a una información que ninguna técnica de búsqueda por palabras clave puede igualar gracias a este tipo de grafos.

Recordemos que Consensus integra los resultados de este grafo como una de las fases de búsqueda de información en en sus informes tipo Deep. Lo que mostramos ahora es que Citation Graph se puede utilizar de modo independiente.

Exportación

Al final de cada informe, Consensus incluye las opciones de exportación. Son las siguientes:

• Copy text.
• Copy with citations.
• Export as PDF.

Las dos primeras aportan un resultado que solo varía en el formato. El primero es texto plano (marcado con markdown) donde perdemos buena parte del formateado original, aunque retiene todo el texto, incluidas las referencias.

El segundo genera una ventana emergente con el texto formateado y unos botones adicionales para elegir el formato de citación y entonces de nuevo tenemos que hacer clic en Copy text, y si pasamos esta copia a un editor de textos, vemos que mantiene algunas opciones del formato original, pero no todas. En los documentos generados con estas dos opciones, no vemos ninguna señal de que hayan sido generados por Consensus.

La tercera opción, Export as PDF, hace justo lo que dice y genera un informe en PDF con la marca de Consensus en la cabecera:

En formato PDF, por cierto, el informe generado es de siete páginas, o sea, casi (o sin casi) la extensión de un artículo científico.

Lo que nos dicen estas opciones son dos cosas: la primera, que los informes de Consensus son fáciles de editar o de compartir con colegas, pero también que pueden favorecer la mala praxis. Hay que ser realistas.

Una fracción de los usuarios de Consensus, esperemos que muy minoritaria, puede editarlos para hacerlos pasar por una producción propia, tal vez en trabajos evaluados o en artículos científicos, o sea, estará cometiendo un fraude. Es lo que hay. El único formato que añade la marca visible de Consensus es el PDF, pero es fácil también editar un PDF.

Esta es la realidad, nos guste o no. En defensa de Consensus hay que decir dos cosas: ellos no generan el fraude, el fraude lo genera exclusivamente el usuario, que es quién puede hacer un mal o un buen uso. Por otro lado, no presentan el formato de una manera que lo facilite expresamente, como hacen otras IA. No es una barrera importante para quien tenga ánimo defraudador, pero otras IA lo fomentan aún más con unos formatos que parecen sugerir: «pon aquí tu nombre, y listos».

Panel lateral

Nos queda comentar algo sobre las funciones que incluye el panel lateral. Lo primero a destacar es que este panel se puede plegar a fin de optimizar el tamaño de pantalla, p.e., cuando estamos explorando los resultados. Parece un aspecto menor (y lo es) pero resulta muy útil.

A partir de aquí dos secciones notables en la parte superior del panel:

• My Library. Aquí podemos tener un triple nivel de organización de la información:
  • Items. Son todas las referencias individuales que hemos ido mandando a nuestra biblioteca personal (recuerden que Library se traduce como biblioteca).
  • Threads. Consultas o prompts destacados que mandamos a la biblioteca personal.
  • Collections. Son carpetas donde podemos agrupar diversas consultas o prompts sobre un mismo tema.
• History. La lista de todas las consultas efectuadas. Parece extraño destacar esta función tan evidente, pero hay sistemas de IA donde no es fácil tener la historia de las consultas tan a mano.

Además, hay otros elementos del panel que quedan más abajo:

Veamos los elementos destacados:

• Paper search. Para cuando queremos usar Consensus como un sistema de búsqueda y recuperación de información puro. Hemos ilustrado su uso más arriba.
• Citation Graph. Para utilizar el análisis de citaciones. Ver su uso más arriba.

Después vienen accesos rápidos a una colección de tutoriales en vídeo de Consensus y a los datos de perfil del usuario (otra cosa que en algunas IA cuesta encontrar de manera rápida).

Consensus y las revisiones de la literatura

Consensus no puede sustituir el trabajo intelectual de los autores humanos (véase que» la expresión «autores humanos» es redundante) en una revisión de la literatura.

Dicho del modo más crudo del que somos capaces: no podemos tomar un informe tipo Deep review (ni de ningún otro tipo) y presentarlo como si fuera una revisión de la literatura con validez y fiabilidad (ver una discusión al respecto en: https://www.lluiscodina.com/inteligencia-artificial-sintesis-evidencia/).

Y mucho menos, porque sería un fraude monumental, no podemos ponerle nuestro nombre y enviarlo a una revista como si fuera un trabajo de autoría humana. Esto ya lo hemos comentado, en realidad.

Atención a lo siguiente: esto no es un problema de Consensus. Es algo propio e intrínseco de la IA generativa. Esto nos lleva de manera natural a la siguiente cuestión.

¿Qué podemos hacer con un informe de Consensus?

La verdad es que podemos hacer muchas cosas, y todas de enorme utilidad. Enunciemos algunas:

• Formación propia. Una primera aproximación incisiva de alta calidad a un área de conocimiento o a un problema de investigación. Leer con atención un informe Deep de Consensus puede ser, para un investigador, un antes y un después en la comprensión de un tema, en especial si es, como decimos, la primera vez que afronta el tema.
• Primera aproximación. Un informe Deep antes de diseñar una revisión de a literatura de tipo sistemático o de scoping review puede agilizar y mejorar el diseño y posterior desarrollo de la investigación.
• Marco teórico. Aportación crítica para la elaboración de los elementos de un marco teórico, sus temas principales, los principales problemas del área y los autores y revistas clave.
• Marco conceptual. En el caso de un marco conceptual, el análisis de los constructos y de las variables principales
• Marco metodológico. Lo mismo que decimos de los casos anteriores, pero referido a las metodologías.
• Recuperación de información. Uso de Consensus como haríamos con una base de datos académica convencional, pero con las ventajas de la información enriquecida que aporta la IA.

Todo lo anterior es solamente una lista limitada de las funciones ilimitadas que aporta una IA como Consensus para trabajos académicos. Pero véase que el uso legítimo de Consensus implica es un punto de partida, nunca un punto de llegada.

Formas de incorporación a trabajos académicos

De forma general, para incorporar resultados de una IA, no solo en Consensus, debemos tener en cuenta las normativas del uso de la IA que, en cada caso corresponda según el tipo de trabajo académico. Podemos considerar a efectos de esta discusión, estos dos tipos principales:

• Trabajos evaluativos, tales como trabajos de final de grado, final de máster o tesis doctorales. Aquí deberemos considerar las normativas de cada universidad y de cada titulación. De modo general, el uso de la IA (Consensus o cualquier otra) nunca debe sustituir habilidades y competencias que debe desarrollar el autor, ya que va a ser evaluado por ellas. Además, las normativas suelen establecer listas de usos permitidos y usos prohibidos. Por último, debemos aplicar las normativas de transparencia y declaración de uso de la IA que corresponda.
• Artículos científicos. Las revistas pueden tener normativas sobre el uso de la IA y la transparencia de la IA. Además, hay normativas de comités y asociaciones internacionales como COPE y WAME que son de validez internacional incluso para revistas que no hayan publicado normativas al respecto. Aquí, las principales prescripciones son que las IA no pueden ser acreditadas como autoras y que los autores retienen toda la responsabilidad. A partir de aquí, los autores no pueden delegar sus responsabilidades epistémicas en la IA, ni deben incorporar contenidos de la IA sin verificación, edición y atribución, y deben declarar los usos sustanciales de la IA en el diseño de la investigación, el análisis de datos o la producción de datos.

Adicionalmente, vamos a considerar un escenario global:

• Uso de la IA en cualquier clase de actividad académica o en publicaciones académico/científicas.
  • No podemos aceptar sin verificación o evaluación los resultados que entrega una IA, sea Consensus o cualquier otra.
  • No podemos citar referencias sin manejarlas. Para añadir una referencia que hemos conseguido a través de una IA, debemos verificar que la misma existe realmente. Pero esto no es suficiente. Debemos acceder al PDF completo y examinarlo antes de citarlo. Esto en realidad es cierto aunque no usemos una IA sino una base de datos académica convencional.
  • No podemos añadir, por «copiar y pegar», contenidos generados por una IA a un trabajo nuestro como si fuera contenido propio.
  • Podemos, en cambio, utilizar los contenidos generados por una IA, por ejemplo, un informe Deep de Consensus, como un punto de partida. Para ello, leemos la síntesis generada usando nuestro pensamiento crítico, evaluamos las ideas y conceptos, acudimos a las fuentes originales para verificar su validez, citamos las fuentes originales mediante cita literal o parafraseo siempre atribuyendo las ideas a la fuente original (no la IA) y toda la escritura de nuestro trabajo (salvo citas literales) debe responder a una edición propia y el resultado global del contenido debe ser fiel a nuestra propia voz. De hecho, el slogan de Consensus es: Research starts here.
  • Transparencia y declaración. En trabajos académicos o artículos científicos, si el uso de la IA ha sido sustancial, debemos aplicar las normas de declaración y transparencia que nos afecten en cada circunstancia.

En realidad todo esto es un tema por derecho propio. Los interesados pueden encontrar información avanzada en estos enlaces:

• Uso de la IA en tesis doctorales: parte 1, parte 2 y parte 3.
• Veritas como procedimiento general de uso de la IA en la academia | English version.
• CRITERIA: orientaciones del uso y transparencia de la IA en revisas científicas | English version

Consensus y las bases de datos académicas

Para entender Consensus hemos de considerar que forma parte de un ecosistema de información académica más amplio. En este ecosistema tenemos al menos las siguientes categorías:

• Bases de datos académicas propiamente dichas. Las dos representantes internacionales de ámbito generalista más importantes son Scopus y Web of Science. Afortunadamente, además hay numerosas bases de datos, algunas también genéricas como ProQuest y otras especializadas como PubMed. Estas bases de datos tienen tres características importantes: primero, evalúan las revistas de las que incorporan artículos. Esto es, las revistas deben superar un umbral de calidad para que sus artículos formen parte de sus bases de datos. La segunda característica es que la parte principal de sus contenidos son artículos de investigación. La tercera característica es que trabajan en colaboración con las editoriales científicas y como resultado generan sus propios registros e índices internos sin estar expuestos a los problemas habituales de enlaces rotos. Por eso, usar información de estas bases de datos ofrece las mejores garantías para cualquier investigador.
• Buscadores académicos. Entre los buscadores el más importante es Google Scholar. Lo que hacen buscadores como Google Scholar es indexar información que les proporcionan algunas editoriales académicas, pero también indexan páginas, sitios web y documentos que Scholar descubre con su crawler y que categoriza como académicos. La consecuencia es que Google Scholar tiene mucha información, pero de fiabilidad variable. Contiene artículos que han tenido evaluación por pares, pero también materiales que carecen de ella, como informes, presentaciones, comunicaciones o materiales académicos de toda naturaleza y en cualquier fase de verificación.
• Recolectores de información académica. Los recolectores importan índices generados por diferentes sistemas académicos (repositorios, p.e, y organizaciones como CrossRef) y los unifican en una interfaz de consulta unificada. Dos de los más importantes son OpeAlex y Semantic Scholar. La característica más destacada de los recolectores es la cantidad masiva de información que reúnen, pero otra es la pobreza de su interfaz, hasta el punto de hacerlos casi inútiles para búsquedas sofisticadas, y aún otra la inexistencia de procesos de evaluación de la información que incorporan. Todo esto nos lleva a tratar con cuidado sus resultados donde, al menos en nuestra experiencia los errores abundan. Esto se puede trasladar a los resultados de las IA que también usan estos recolectores. Poe ejemplo, en alguna ocasión, hemos encontrado en esta clase de sistemas, trabajos publicados en revistas depredadoras. Esto, en teoría, es imposible si usamos bases de datos académicas (ver más arriba).
• Sistemas de IA académicos. Son los actores recién llegados al ecosistema. Hay probablemente al menos una decenas de ellos. Los tres más notables, según nuestras experiencias son Consensus, Elicit y Undermind. Para sus funciones equivalentes a bases de datos, según nuestra apreciación suelen usar sistemas como Semantic Scholar, PubMed y algunos repositorios notables como ArXiV.

Lo que podemos concluir de este panorama es que la primera categoría de sistemas, las bases de datos académicas propiamente dichas siguen siendo una fuente imprescindible en misiones críticas cuando necesitamos asegurar la fiabilidad de la base de la evidencia que vayamos a utilizar. Un ejemplo de tal misión crítica sería una revision sistemática, un metaanálisis o una scoping review.

Esto reafirma el importante y utilísimo rol de los sistemas de IA académicos como agilizadores de procesos o como forma de afrontar con una rapidez, facilidad y comodidad nunca vistas hasta ahora la exploración de un campo de conocimiento.

¿Uso gratuito?

Consensus es un sistema de pago. No obstante, en este sitio tendemos a analizar sistemas de IA que ofrecen también versiones gratuitas. La razón es que siempre pensamos en dos cosas: primero, que técnicamente hablando un investigador predoctoral es pobre, y si esta palabra suena muy fuerte, tiene recursos precarios. Segundo: los formadores en IA necesitamos sistemas que podamos mostrar en clase y que los alumnos puedan experimentar sin que nadie deba hacer ningún desembolso.

A cambio, las empresas que producen estas IA amplían su branding seguramente de forma más eficaz que con anuncios, como demuestra que todos los «grandes» de Internet usan esta estrategia.

Consensus es el sistema ideal en este sentido porque en su versión gratuita (si nuestro recuerdo antes de optar por la versión de pago no nos falla), no limita sus funcionalidades, sino el número de usos máximos por mes que es notablemente más reducido que la versión de pago.

Pero, una sesión de formación en clase, permite por utilizar Consensus de forma completa, y un doctorando probablemente, necesitará un número reducido de consultas para su tesis. Cuando sea un brillante investigador con un buen contrato en una buena universidad, recordará Consensus y será el momento que hacerse con una versión de pago e incluso recomendarla a sus colegas (Consensus, toma nota).

Conclusiones

Hemos examinado una de las IA académicas más avanzadas. Consensus ofrece servicios de búsqueda, recuperación de información y gestión de referencias que hasta ahora solamente encontrábamos en bases de datos académicas como Scopus o WoS y en gestores personales de información como Zotero o Mendeley.

Además, hemos visto la excelente calidad de la síntesis de la evidencia que es capaz de proporcionar en tanto IA generativa. Sus formatos de síntesis incluyen síntesis narrativas pero también otros formatos tabulares y gráficos como Consensus Meter, Research Gaps y Open Research Question.

Sin perjuicio de la enorme utilidad de Consensus y de la enorme calidad de su output, sus resultados deben tomarse como un punto de partida, no como un punto de llegada. Un punto de partida capaz, esto sí, de agilizar notablemente procesos de investigación, de solucionar necesidades sofisticadas de información académica y de facilitar de forma no vista hasta ahora la exploración de áreas de conocimiento.

BONUS: cómo nos gustaría usar el resultado de esta Deep Review

El plan es usar este informe generado por Consensus como un punto de partida para un trabajo de tipo conceptual sobre co-creación dialógica humano-IA. Para ello, la idea fundamental es aplicar el método Veritas al material generado por Consensus y, eventualmente, a otros materiales complementarios. El impacto exacto que este informe de Consensus (u otros) tenga en el trabajo final, por el momento lo ignoramos, pero será convenientemente declarado de forma transparente si resulta mínimamente sustancial.

Una vez acabado el trabajo, si los juzgamos útil, lo publicaremos por algún medio o plataforma, cosa que, en tal caso, anunciaremos en este sitio. Ya ven que todo es muy especulativo. Nuestra ambición es presentar un trabajo (seguramente será en colaboración) que, además de las bases conceptuales presente propuestas operativas de trabajo especialmente pensadas para investigadores predoctorales (aunque esperamos que sea útil para todo tipo de investigadores). Pero el trabajo nos deber gustar para que decidamos publicarlo, así que de momento cabe insistir en que esto no pasa de ser una especulación.

Suscríbase a este sitio (es gratis) si quiere asegurarse de recibir novedades en este ámbito o en cualquiera de los temas tratados en este sitio.

Para saber más

• Validez y fiabilidad de la inteligencia artificial para revisiones de la literatura y síntesis de la evidencia
• Uso de la IA en tesis doctorales: parte 1, parte 2, parte 3.
• Veritas como procedimiento general de uso de la IA en la academia | English version.
• CRITERIA: orientaciones del uso y transparencia de la IA en revisas científicas | English version
• Artículos de este sitio con análisis de otros sistemas de IA