IA y noticias: ¿Podemos confiar en los chatbots?
Un estudio reciente publicado por el Reuters Institute, revela limitaciones significativas en la capacidad de los chatbots de inteligencia artificial generativa, específicamente ChatGPT y Bard (recientemente rebautizado como Gemini), para proporcionar titulares de noticias actuales de manera precisa.
Me interesó particularmente el trabajo ya que aborda una pregunta recurrente que surge cada vez que doy una capacitación en un medio: ¿es posible utilizar estas plataformas para la cobertura de noticias en las redacciones?. Para esto, los autores analizaron 4,500 solicitudes de titulares procedentes de diez países y encontraron que estos sistemas de IA frecuentemente fallan al noticias actualizadas de los medios especificados.
Entre los hallazgos más importantes pueden destacarse:
- Rendimiento general: Al ser solicitados para obtener los últimos titulares de noticias de medios específicos, ChatGPT no proporcionó resultados similares a noticias en el 52–54% de las veces, respondiendo típicamente con un mensaje que indicaba incapacidad para acceder al contenido solicitado. Bard mostró una tasa de incumplimiento aún mayor, con el 95% de las solicitudes devolviendo respuestas similares de no noticias.
- Precisión en la entrega de noticias: Solo entre el 8% y 10% de las respuestas de ChatGPT contenían titulares que realmente coincidían con las principales noticias listadas en la página de inicio del medio de comunicación en el momento de la solicitud. La mayoría de las respuestas se referían a noticias más antiguas o no eran de las principales noticias en absoluto.
- Atribución incorrecta y alucinaciones: Aproximadamente el 3% de las respuestas de ChatGPT incluyeron titulares que fueron atribuidos a fuentes incorrectas o eran demasiado vagos para ser verificados contra historias reales, lo que genera preocupaciones sobre el potencial de difusión de información errónea.
El estudio se llevó a cabo utilizando las interfaces web de ChatGPT Enterprise y Google Bard en los 15 medios de comunicación en línea más utilizados, según el Informe de Noticias Digitales 2023 del Instituto Reuters. Los investigadores utilizaron un prompt directo y específico para evaluar la capacidad de la IA para recuperar y presentar titulares de noticias de manera precisa.
Los hallazgos subrayan los desafíos y los riesgos potenciales de depender de la IA para la recuperación de noticias, especialmente en lo que respecta a la precisión y fiabilidad de la información proporcionada. A pesar de la integración de herramientas de IA en el consumo de noticias, el estudio destaca una brecha significativa en su capacidad para funcionar eficazmente como fuente de noticias.
Además, los autores notaron una variabilidad considerable en el rendimiento de estas herramientas de IA en diferentes países y medios de comunicación, lo que puede estar parcialmente relacionado con cómo estos sitios están configurados para bloquear rastreadores de IA. Esto es un aspecto a tener en cuenta ya que el futuro de la IA en la difusión de noticias depende de mejoras en las capacidades de este tipo de plataformas y quizás de colaboraciones más estructuradas entre proveedores de tecnología y editores de noticias.
Aunque los chatbots de IA como ChatGPT y Bard tienen el potencial de transformar cómo accedemos a las noticias este tipo de trabajos nos permiten observar ciertas tendencias que dan una luz de alerta y sirven como un recordatorio sobre la necesidad de contar con controles estrictos sobre la veracidad y el origen del contenido generado por IA en el periodismo.
En definitiva el estudio funciona como una fotografía de los alcances y las limitaciones que estos sistemas tienen al día de hoy, que seguramente cambiará en breve con las asociaciones que, por ejemplo, Open AI está cerrando con grupos mediáticos de Europa y EE.UU y el anuncio de un nuevo buscador potenciado con IA.
Más info:
::: ‘I’m unable to’: How generative AI chatbots respond when asked for the latest news
