Un estudio reciente ha revelado que ChatGPT Search de OpenAI falla en atribuir correctamente el contenido de noticias, lo que genera preocupaciones entre los editores sobre la visibilidad de sus marcas y el control de su contenido.
ChatGPT Search no cita adecuadamente las fuentes, según investigación
Según un estudio del Tow Center for Digital Journalism de la Universidad de Columbia, ChatGPT Search no cita correctamente las fuentes de noticias, independientemente de si los editores permiten o bloquean su rastreador. Esto plantea serias preocupaciones sobre la precisión y la representación justa de las noticias en la plataforma.
El informe encontró frecuentes citas erróneas y atribuciones incorrectas, lo que podría afectar negativamente la reputación de los editores y confundir a los lectores. Estos hallazgos desafían las afirmaciones de OpenAI sobre su compromiso con el desarrollo responsable de IA en el periodismo.
Antecedentes sobre ChatGPT Search
OpenAI lanzó ChatGPT Search el mes pasado, afirmando que había colaborado extensamente con la industria de noticias e incorporado los comentarios de los editores. Sin embargo, esto contrasta con el lanzamiento original de ChatGPT en 2022, donde los editores descubrieron que su contenido había sido utilizado para entrenar los modelos de IA sin aviso o consentimiento.
Ahora, OpenAI permite a los editores especificar a través del archivo robots.txt si desean ser incluidos en los resultados de ChatGPT Search. No obstante, el estudio sugiere que los editores enfrentan el riesgo de mala atribución y representación incorrecta independientemente de su elección de participación.
Problemas de precisión en las citas
El Tow Center evaluó la capacidad de ChatGPT Search para identificar fuentes de citas de 20 publicaciones. Los hallazgos clave incluyen:
- De 200 consultas, 153 respuestas fueron incorrectas.
- La IA rara vez reconoció sus errores.
- Utilizó frases como «posiblemente» en solo siete respuestas.
ChatGPT a menudo priorizó satisfacer al usuario sobre la precisión, lo que podría inducir a error a los lectores y dañar la reputación de los editores. Además, los investigadores encontraron que ChatGPT Search es inconsistente cuando se le hace la misma pregunta varias veces, probablemente debido a la aleatoriedad inherente a su modelo de lenguaje.
Citación de contenido copiado y sindicado
Los investigadores descubrieron que ChatGPT Search a veces cita artículos copiados o sindicados en lugar de las fuentes originales. Esto podría deberse a restricciones de los editores o limitaciones del sistema.
Por ejemplo, al solicitar una cita de un artículo del New York Times (actualmente involucrado en una demanda contra OpenAI y que bloquea sus rastreadores), ChatGPT vinculó a una versión no autorizada en otro sitio. Incluso con el MIT Technology Review, que permite los rastreadores de OpenAI, el chatbot citó una copia sindicada en lugar de la original.
El Tow Center encontró que todos los editores corren el riesgo de mala representación por parte de ChatGPT Search:
- Permitir rastreadores no garantiza visibilidad.
- Bloquear rastreadores no impide que el contenido aparezca.
Estos problemas plantean preocupaciones sobre el filtrado de contenido de OpenAI y su enfoque hacia el periodismo, que podría alejar a las personas de los editores originales.
La respuesta de OpenAI
OpenAI respondió a los hallazgos del Tow Center afirmando que apoya a los editores a través de una atribución clara y ayuda a los usuarios a descubrir contenido con resúmenes, citas y enlaces.
Un portavoz de OpenAI declaró:
«Apoyamos a los editores y creadores ayudando a 250 millones de usuarios semanales de ChatGPT a descubrir contenido de calidad a través de resúmenes, citas, enlaces claros y atribución. Hemos colaborado con socios para mejorar la precisión de las citas en línea y respetar las preferencias de los editores, incluyendo cómo aparecen en la búsqueda mediante la gestión de OAI-SearchBot en su robots.txt. Seguiremos mejorando los resultados de búsqueda.»
Si bien la compañía ha trabajado para mejorar la precisión de las citas, OpenAI dice que es difícil abordar problemas específicos de mala atribución. Sin embargo, sigue comprometida a mejorar su producto de búsqueda.
Mirando hacia el futuro
Si OpenAI desea colaborar con la industria de noticias, debería garantizar que el contenido de los editores se represente con precisión en ChatGPT Search. Actualmente, los editores tienen poder limitado y están observando de cerca los casos legales contra OpenAI. Los resultados podrían afectar los derechos de uso del contenido y dar a los editores más control.
A medida que productos de búsqueda generativa como ChatGPT cambian la forma en que las personas interactúan con las noticias, OpenAI debe demostrar un compromiso con el periodismo responsable para ganarse la confianza de los usuarios.
Fuente: https://www.searchenginejournal.com/chatgpt-search-shows-76-5-error-rate-in-attribution-study/533978