¿Qué inteligencia artificial resuelve mejor la curación de contenidos? Análisis comparativo de Bard, Perplexity y Copilot

Esquema de análisis de la curación de contenidos en sistemas de IA generativa
Componentes de análisis de la calidad de los contenidos generados por una IA desde el punto de vista de la curación de contenidos

El foco de interés de esta comparativa es la curación de contenidos tal como la llevan a cabo los profesionales de la comunicación social.

Ahora bien, aunque las fases de búsqueda, selección y análisis son similares, lo cierto es que hay al menos, en este ámbito, dos grandes tipos de actividades de curación según sus diferentes objetivos y productos finales:

  • Generar comunidad. Es la que practican principalmente los community managers y perfiles similares. Principalmente, redistribuyen contenidos. La curación consiste en dotarlos de algún sentido o interpretación. El producto final característico es el microblogging en plataformas como X, LinkedIN, Facebook, TikTok, etc.
  • Generar nuevos contenidos. Es la que practican creadores de los diversos sectores de la comunicación social, desde periodistas hasta creadores del audiovisual, pasando por publicistas, etc. Es lo que, en el mundo académico, llamamos revisión de la literatura. En el ámbito profesional, el producto final característico puede ser una pieza periodística, total o parcialmente elaborada por curación. O puede ser un guión para un documental, p.e., para el cual el equipo de producción ha necesitado documentarse, etc. En el entorno académico puede ser un estado de la cuestión, un marco teórico, etc.

La curación de contenidos que nos interesa en esta comparativa es la segunda, esto es, la que se lleva a cabo para generar nuevos contenidos. Concretamente, nos interesa el ámbito de la curación de contenidos profesional en comunicación, pero la mayor parte de lo que veremos, si no todo, se podría aplicar a la curación en entornos académicos.

¿Qué IA generativas vamos a examinar?

Vamos a proceder a analizar las competencias para curar contenidos de tres inteligencias artificiales generativas que, o bien son de acceso gratuito (Bard, Copilot) o bien disponen de una versión gratuita ampliamente funcional (Perplexity). Se trata de las siguientes:

  • Bard, la interfaz de IA de Google, que usa un modelo propio ampliado y potenciado por un desarrollo reciente de su modelo denominado Gemini. Para asegurarnos de que se activa ese modelo concreto, hemos diseñado el prompt en inglés.
  • Copilot, de Microsoft. Esta interfaz utiliza la IA desarrollada por OpenAI, ChatGPT, en su versión 4, que es la más potente.
  • Perplexity, que es una plataforma que proporciona acceso a ChatGPT entre otros modelos de IA. A efectos de este análisis usaremos la versión con GPT4 aumentada con una función interactiva denominada Copilot (a no confundir con la IA de Microsoft).

Esquema de análisis de curación de contenidos en IA: construcción argumental y fuentes

Componentes de análisis de la curación de contenidos en IAG
Componentes de análisis

Vamos a analizar cada respuesta en torno a cuatro indicadores. Los tres primeros contribuyen a lo que llamaremos la construcción argumental, mientras que el último mide la calidad y cantidad de las fuentes. Recuperamos el diagrama de la cabecera para expresar gráficamente esta idea que explicamos a continuación:

  • Construcción argumental: mediante esta expresión, intentamos valorar la capacidad de una IA para proporcionar un contenido que permita entender lo mejor posible el tema planteado en el prompt. A efectos de nuestro análisis, se compone de los tres elementos que se indican a continuación.
    • Redacción: sirve para medir la calidad de la redacción, considerando también su extensión (más, en ese caso, es mejor).
    • Estructura: consiste en evaluar la forma de ordenar los resultados. Se evalúa la estructuración y organización de la respuesta. Más estructura, mejor.
    • Relación. Este punto es muy importante porque va más allá de presentar síntesis de ideas o conceptos. Se refiere a la capacidad de la IA para expresar la relación entre los conceptos que forman parte del prompt. Se considera analizando el razonamiento presentado para vincular los mismos. Por supuesto, este apartado es relevante siempre que el prompt implique de facto algún tipo de relación entre dos o más variables.
  • Selección de fuentes
    • Relevancia: determina si las fuentes son adecuadas al tema y si son solventes. Es equivalente al criterio E-E-A-T de Google.
    • Número de fuentes: el número de fuentes es importante en curación, porque más fuentes ofrece al autor de la curación un mayor espacio de decisiones para seleccionar y comparar las mismas.

El tema de análisis: la evitación de noticias y el periodismo constructivo

Para llevar a cabo el análisis comparativo, partimos de un mismo prompt que presentaremos a tres inteligencias artificiales generativas.

Se trata del tema del periodismo constructivo y su relación con la evitación de noticias. Para poder utilizar las nuevas prestaciones de Bard, que solo se activan para prompts en inglés, usaré un prompt en este idioma. Podemos imaginar un proceso de curación de contenidos en el que o bien un profesional o bien un académico necesita documentarse sobre el tema. El prompt es el siguiente:

First, describe the main characteristics of news avoidance. Then, detail the main characteristics of constructive journalism. Finally, assess how constructive journalism can mitigate news avoidance and justify your reasons. At the conclusion, recommend related sources from the Internet
Fuente: elaboración propia

Como vemos por el prompt pedimos claramente una respuesta que presente primeros los conceptos, pero que después sea capaz de relacionarlos. Hemos usado las expresiones «asses» (evalúa) y «justify» (justifica) para reforzar el resultado que esperamos. Y esta parte es muy importante.

A partir de aquí, todos los textos en inglés que verán a continuación, situados entre barras horizontales, han sido generados por las IA respectivas. Son el resultado literal de «copiar y pegar».

Bard de Google es un sistema de IAG
Interfaz de consulta de Bard

Bard


News Avoidance

News avoidance, also known as news disengagement or news fatigue, refers to the act of deliberately avoiding or minimizing exposure to news and current events. It’s a growing trend in today’s media landscape, with various factors contributing to its rise.

Main Characteristics of News Avoidance:

  • Overwhelm and Negative Impact: The constant influx of negative and alarming news can lead to information overload and emotional fatigue, prompting individuals to disengage from news consumption.
  • Sensationalized Coverage: The focus on sensationalized and conflict-driven narratives can alienate audiences, causing them to view news as biased, untrustworthy, and lacking in substance.
  • Perception of Inaction: When news coverage emphasizes problems without offering solutions, audiences may feel hopeless and disengaged, leading them to avoid news altogether.
  • Personal Priorities: Individuals may prioritize other aspects of their lives, such as work, family, or hobbies, over consuming news. This can lead to news avoidance due to limited time or lack of perceived relevance.

Constructive Journalism

Constructive journalism is an approach to journalism that aims to inform and engage audiences by focusing on solutions, positive actions, and potential improvements rather than solely on problems and conflicts. It seeks to empower individuals, promote civic engagement, and foster a sense of hope and possibility.

Main Characteristics of Constructive Journalism:

  • Problem-Solution Focus: Constructive journalism delves into the root causes of issues, providing context and exploring potential solutions rather than simply reporting on events.
  • Empowerment and Agency: It emphasizes the role of individuals and communities in addressing problems, fostering a sense of empowerment and collective action.
  • Diversity of Voices: Constructive journalism actively seeks out and represents a variety of perspectives, including those of experts, marginalized groups, and everyday citizens.
  • Engagement and Participation: It encourages audience participation through interactive elements, community dialogues, and calls to action, fostering a sense of connection and shared responsibility.

How Constructive Journalism Can Mitigate News Avoidance:

  • Addressing Emotional Fatigue: By focusing on solutions and potential improvements, constructive journalism offers a more balanced and hopeful narrative, reducing the negative emotional impact of news consumption.
  • Rebuilding Trust and Credibility: By emphasizing accuracy, transparency, and ethical reporting, constructive journalism can regain audience trust and encourage engagement.
  • Promoting Civic Engagement: By highlighting positive actions and empowering individuals, constructive journalism encourages active participation in addressing community issues.
  • Restoring Meaning and Purpose: By providing context, exploring solutions, and fostering a sense of collective action, constructive journalism can reignite interest in the news and its potential to contribute to positive change.

Related Sources:


Copilot es la interfaz de la IA generativa de Microsoft
Cabecera del sitio Copilot de Microsoft

Copilot de Microsoft


News avoidance is a phenomenon where people intentionally or unintentionally avoid news content. Studies show that people avoid news because they find it too negative, do not trust it, or feel overwhelmed by the amount of available news. News avoidance is a problem for the traditional news media as well as for democracy. News organizations need readers, listeners, or viewers to generate advertising revenues, sell subscriptions, and maintain their societal relevance. But news avoidance is also a problem for democracy. News consumption has a positive impact on people’s knowledge of society and politics as well as on their political engagement and participation.

Constructive journalism is a response to news avoidance. It is a type of journalism that focuses on solutions and positive examples that can serve as inspiration for how to handle challenges. Constructive journalism aims to counteract news avoidance and protect news consumers from negative effects of the news on their mood and mental health. It seeks to empower readers, foster trust in journalism, and encourage public dialogue, thus contributing to democracy. Constructive journalism is based on a news coverage aimed at generating a positive social impact. It complements the traditions of both ‘breaking news’ stories and of investigative journalism.

Constructive journalism can mitigate news avoidance by addressing the reasons behind it. Solutions-focused news stories could instill hope and empower people to engage with societal issues on a personal and collective level. By presenting the core of a problem in detail, conveying information, and providing orientation with respect to the future and possible solutions, constructive journalism can help to encourage people to participate in the news cycle. It can also help to counteract sensationalized news and eliminate a lot of the negativity in the news. By opting for a more constructive approach to journalism, based on a news coverage aimed at generating a positive social impact, the media can address the motivations behind news avoidance.

Here are some sources that you might find useful:

  • [Solutions to News Avoidance – Constructive Institute](https://constructiveinstitute.org/how/contributions/solutions-to-news-avoidance/)
  • [What are the effects of constructive journalism?](https://constructiveinstitute.org/research-overview-effects/)
  • [Engaging audiences with constructive journalism](https://www.gu.se/en/research/engaging-audiences-with-constructive-journalism)
  • [NCVO Guide to Constructive Journalism](https://accountablejournalism.org/ethics-codes/the-express-guide-to-constructive-journalism)

Interfaz de Perplexity, una plataforma de uso de diferentes sistemas de IA generativas
Interfaz principal de Perplexity

Perplexity


Main Characteristics of News Avoidance

News avoidance refers to the behavior where individuals intentionally or selectively disengage from news consumption. The main characteristics of news avoidance include:

  • Perceived Untrustworthiness: A significant reason for news avoidance is the distrust in media to provide reliable reporting [1].
  • Negativity: The overwhelming negative tone of news content can lead to disengagement [1].
  • Overload: The sheer volume of news available can lead to a feeling of being overwhelmed, prompting avoidance [11].
  • Selective Avoidance: Individuals may not avoid all news but may selectively avoid certain types of news or news at specific times [12].
  • Impact on Mental Health: Concerns about the negative influence of news on mental health contribute to avoidance behaviors [4].
  • Demographic Factors: Age, political leanings, and the freedom of the press in one’s country can influence news avoidance [9].

Main Characteristics of Constructive Journalism

Constructive journalism is an approach that aims to provide a more balanced and nuanced view of reality by:

  • Solution-Focused: It emphasizes solutions to problems and not just the problems themselves [2] [6].
  • Future-Oriented: Constructive journalism looks towards the future, considering potential outcomes and implications [2].
  • Diversity and Perspectives: It consciously focuses on diversity and different perspectives to reflect the world’s complexity [2].
  • Moderation of Public Dialogue: Journalists act as moderators of constructive public dialogue, opening new possibilities for improved discourse [2].
  • Empowerment: This approach seeks to empower readers by fostering experiences of self-efficacy [7].
  • Trust Building: Constructive journalism aims to rebuild trust in the media by avoiding sensationalism and negativity bias [8].

Mitigating News Avoidance through Constructive Journalism

Constructive journalism can mitigate news avoidance by addressing the factors that lead to disengagement:

  • Restoring Trust: By focusing on solutions and providing a nuanced picture of reality, constructive journalism can help restore trust in the media, which is crucial for engaging audiences [8].
  • Reducing Negativity: By balancing negative news with positive developments and solutions, constructive journalism can alleviate the psychological burden that leads to avoidance [3].
  • Enhancing Engagement: The approach can increase audience engagement by making news more relevant and empowering, encouraging people to take action on societal issues [16].
  • Promoting Diversity: Highlighting diverse perspectives can counter oversimplification and polarization, making news consumption more appealing [2].

Recommendations for Further Reading

For those interested in exploring these topics further, the following sources provide valuable insights:

  • Constructive Institute: Offers resources and research on constructive journalism and its impact on news avoidance [11] [14] [22].
  • Solutions Journalism Network: Provides a database of examples of rigorous reporting on solutions to various issues [8].
  • Nieman Lab: Discusses factors influencing news avoidance and the role of media freedom [9].
  • Journalism.co.uk: Explores how constructive journalism can help rebuild trust in the media [8].
  • Eidosmedia Blog: Analyzes the phenomenon of news avoidance and its implications for digital news markets [1].

In conclusion, constructive journalism, with its emphasis on solutions, empowerment, and trust-building, presents a promising avenue to counteract news avoidance and re-engage audiences with quality journalism.

Citations

  • [1] https://www.eidosmedia.com/blog/tecnnology/News-Avoidance
  • [2] https://www.bonn-institute.org/en/what-is-constructive-journalism
  • [3] https://freeturkeyjournalists.ipi.media/how-can-constructive-journalism-contribute-to-mitigating-media-polarization/
  • [4] https://journals.sagepub.com/doi/10.1177/14648849221105778?icid=int.sj-abstract.citing-articles.8
  • [5] https://nordmedianetwork.org/latest/call-for-papers/understanding-news-avoidance-paradoxes-problems-and-priorities/
  • [6] https://journals.sagepub.com/doi/full/10.1177/1464884918770537
  • [7] https://journals.sagepub.com/doi/abs/10.1177/14648849211062738
  • [8] https://www.journalism.co.uk/news/how-constructive-journalism-can-rebuild-trust-in-the-media/s2/a778370/
  • [9] https://www.niemanlab.org/2020/07/what-makes-people-avoid-the-news-trust-age-political-leanings-but-also-whether-their-countrys-press-is-free/
  • [10] https://journals.sagepub.com/doi/abs/10.1177/1464884918770537
  • [11] https://constructiveinstitute.org/how/contributions/solutions-to-news-avoidance/
  • [12] https://newsliteracy.psu.edu/podcasts/episode-101-news-avoidance-and-why-it-matters
  • [13] http://www.diva-portal.org/smash/get/diva2:1215584/FULLTEXT01.pdf
  • [14] https://constructiveinstitute.org/research-overview-effects/
  • [15] https://desk-net.com/info/blog/news-avoidance-and-its-consequences
  • [16] https://en.reset.org/what-constructive-journalism-02062018/
  • [17] https://www.researchgate.net/publication/349955114_Constructive_Journalism_a_response_to_users’_motivations_for_news_avoidance
  • [18] https://livrepository.liverpool.ac.uk/3077922/1/Toff%20Kalogeropoulos%20POQ-19-0065.R1%20final%20.pdf
  • [19] https://blogs.lse.ac.uk/polis/2018/08/07/the-rise-of-constructive-journalism-a-sign-that-academics-should-update-their-analytical-frameworks/
  • [20] https://www.academia.edu/45455859/Constructive_Journalism_a_response_to_users_motivations_for_news_avoidance
  • [21] https://journals.sagepub.com/doi/abs/10.1177/14648849211012922
  • [22] https://constructiveinstitute.org/why/
  • [23] https://www.researchgate.net/publication/357436507_Mitigating_the_consequences_of_negative_news_How_constructive_journalism_enhances_self-efficacy_and_news_credibility
  • [24] https://www.tandfonline.com/doi/full/10.1080/1461670X.2023.2293834
  • [25] https://www.gu.se/en/research/engaging-audiences-with-constructive-journalism

Resultado: capacidades relativas en curación de contenidos

A continuación, asignamos una puntuación, de 0 a 5 a cada indicador según el esquema de análisis que hemos presentado más arriba. Los resultados los recoge la siguiente tabla:

IARedacciónEstructuraRelaciónFuentesT
Bard55534,5
Copilot
Microsoft
54434
Perplexity54554,7
Tabla comparativa de las IA generativas Bard, Copilot y Perplexity

No hace falta señalar que esta puntuación no es científica. Por un lado, su fiabilidad no está asegurada y por otro es el resultado de una sola prueba. Por tanto, tomenla como un posible resultado comparativo de acuerdo con unos criterios no sistemáticos. Con otros criterios, sin duda saldrían otras puntuaciones.

¿Qué modelo de IA hay detrás de cada sistema analizado?

Hemos examinado tres IA diferentes, pero hay en juego en realidad dos modelos de IA (no tres). La tabla siguiente lo expresa:

SistemaModelo
BardBard/Gemini
Copilot
de Microsoft
GPT4
PerplexityGPT4
Modelos de IA de cada sistema que interviene en la comparativa

Como se puede ver, Copilot de Microsoft y Perplexity comparten el uso de GPT4, pero los resultados son diferentes por las diferentes implementaciones que lleva a cabo cada sistema. ¿Por qué no hemos usado GPT4 a través de la plataforma propia de Open AI? Por una razón de oportunidad: GPT4 en Open AI requiere suscripción de pago. Por este motivo, hemos optado por ponerlo a prueba a través de Copilot de Microsoft y de Perplexity.

Otra aclaración, en este caso de denominaciones. Resulta que Microsoft después de dar algunos bandazos, ha elegido el término Copilot para denominar la interfaz de sus sistemas de IA. Ahora bien, Perplexity utiliza el mismo término (creo que antes que Microsoft) para denominar a un modo interactivo de usar su IA. Por tanto, mismo término, pero designa cosas diferentes de empresas diferentes.

Discusión y conclusiones

Bard se desempeña como el mejor en los tres indicadores que forman la construcción argumental, y sólo decae en las fuentes: son relevantes pero el número es escaso (por comparación) y en una de ellas, hay un pequeño error de referencia, una de las fuentes (la segunda) la atribuye a una revista que no corresponde. No obstante, el enlace es correcto y lleva al artículo correcto.

Ahora bien, esto hay que remarcarlo: en la construcción del argumento Bard es el mejor de los tres, el que ha «entendido» mejor los objetivos del prompt y el que los ha presentado mejor estructurados.

En el otro lado, tenemos a Copilot de Microsoft con puntuaciones algo más bajas en algunos apartados de la construcción argumental, aunque el desempeño global es excelente, como el de los otros dos. Las fuentes son relevantes, pero limitadas, por comparación con Perplexity. Eso sí, a destacar el alto E-E-A-T de las fuentes seleccionadas por Copilot.

Perplexity consigue la puntuación global más alta global, y una muy alta puntuación en construcción del argumento, con una distribución de puntuaciones diferente a las de Bard. Por otro lado, es el mejor en las fuentes, con mucha diferencia. No solamente es el que más fuentes añade, sino que todas las afirmaciones y argumentos de Perplexity quedan bien apoyados por las fuentes. A efectos globales de curación de contenidos, al menos en esta prueba, es el mejor.

En todo caso, las tres IA son altamente adecuadas para procesos de curación de contenidos del tipo señalado más arriba, esto es, para generar nuevos contenidos. Y por supuesto, en otros temas, es casi seguro que las puntuaciones podrían ser muy diferentes.

Si hubiera que elegir solo uno, podría ser tanto Perplexity como Bard. El primero por ser con diferencia el mejor en las fuentes y muy certero en la construcción de los argumentos con una claridad conceptual y relacional muy alta. Pero si hubiéramos ponderado de alguna forma, hubiéramos podido dar más peso a la construcción argumental, y entonces el mejor sería Bard, pese a su menor puntuación en fuentes. Además, al menos por el momento, Bard es totalmente gratuito. Perplexity también, con una muy amplia funcionalidad, pero si necesitamos usar las funciones completas, requiere suscripción.

Lo mejor, en todo caso, es usar más de una IA para temas de curación en entornos profesionales o académicos. La gratuidad de productos como los examinados lo permite con facilidad. Y en entornos académicos, esto es fundamental.

Por su parte, Copilot de Microsoft resuelve de forma excelente el prompt y presenta plena capacidad para resolver con éxito procesos de curación tanto para propósitos profesionales como académicos. En este sentido, déjennos decir que fue lastimoso que Microsoft decidiera deshacerse de su proyecto de buscador académico. Ahora le iría de perlas para competir con Google. Nos falta conocer los argumentos de negocio utilizados, pero ahora se puede ver como una pésima decisión.

Como sea, si hubiéramos tenido en cuenta en otros elementos funcionales, como la gestión de prompts, el formateo de la información, las facilidades de exportación y otras utilidades, las puntuaciones globales hubieran podido sufrir variaciones. No descartamos elaborar para más adelante un esquema de análisis más complejo que incluya esos indicadores.

Ahora bien, en cualquiera de los escenarios, el curador ya sea periodista, creador del audiovisual o cualquier otro tipo de profesional, debe evaluar los argumentos, así como verificar los datos si piensa usar los contenidos en piezas o productos profesionales para el público.

Referencias

  • Aguilera-Cora, ElisendaLopezosa, CarlosCodina, Lluís (2023). Scopus AI Beta: análisis funcional y casos. Barcelona: Universitat Pompeu Fabra, Departament de Comunicació, 2023. 46 p. (Serie Editorial DigiDoc. DigiDoc Reports). http://hdl.handle.net/10230/58529
  • Aguilera-Cora, Elisenda; Codina, Lluís. (2023). Use of Scopus and WoS in literature reviews for doctoral theses: a case study illustration. http://hdl.handle.net/10230/58225
  • Castells-Fos, Llúcia; Pont-Sorribes, Carles; Codina, Lluís (2023): «Decoding News Media Relevance and Engagement through Reputation, Visibility and Audience Loyalty: A Scoping Review». Journalism Practice, DOI: 10.1080/17512786.2023.2239201
  • Codina, Lluís. (2022). Cómo utilizar ChatGPT en el aula con perspectiva ética y pensamiento crítico: una proposición para docentes y educadores, https://www.lluiscodina.com/chatgpt-educadores/
  • Codina, Lluís; Garde, Cristina. (2023). Uso de ChatGPT en la docencia universitaria: fundamentos y propuestas. http://hdl.handle.net/10230/57015
  • Codina Lluís, Guallar, Javier; Lopezosa, Carlos (2020). Curación de contenidos para periodistas: conceptos, esquema de trabajo y fuentes abiertas. Barcelona: Universitat Pompeu Fabra. Departament de Comunicació. 49 p. Acceso: Repositorio UPF
  • Comisión Europea (2020). Libro blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX:52020DC0065
  • Franganillo, J. (2023). La inteligencia artificial generativa y su impacto en la creación de contenidos mediáticos. methaodos. revista de ciencias sociales, 11(2), 15.
  • Guallar, Javier (2017).«Artículos de curación de contenidos. Categorías y ejemplos». Anuario ThinkEPI, vol. 11, p. 210-216, 2017. 
    http://eprints.rclis.org/31800/ 
  • Guallar, Javier; Codina, Lluís. (2018). «Journalistic content curation and news librarianship: differential characteristics and necessary convergence». El Profesional de la Información , vol. 27, núm. 4, p. 778-791
  • Guallar, Javier (2020). “Sistema personal de content curator. Fases, herramientas y ejemplos”. Anuario ThinkEPI, v. 14, e14d04 https://doi.org/10.3145/thinkepi.2020.e14d04
  • Guallar, Javier; Codina, Lluís; Abadal, Ernest (2020). “La investigación sobre curación de contenidos: análisis de la producción académica”. Ibersid, v. 14, n. 1 (en.-jun. 2020), pp. 13-22. ISSN 1888-0967. https://ibersid.eu/ojs/index.php/ibersid/ar ticle/view/4653
  • Lopezosa, Carlos; Codina, Lluís; Ferran-Ferrer, Núria. (2023) ChatGPT como apoyo a las systematic scoping reviews: Integrando la inteligencia artificial con el framework SALSA Barcelona: Universitat de Barcelona. http://hdl.handle.net/2445/193691

Entradas relacionadas