OpenAI ha desarrollado una herramienta de «marcado de texto» para ChatGPT que detecta el uso de este chatbot para hacer trampa, pero la compañía tiene reservas sobre su lanzamiento público.
OpenAI tiene una herramienta que detecta si usas ChatGPT para hacer trampa, pero no planea lanzarla
Desde el lanzamiento público de ChatGPT en noviembre de 2022, varios centros educativos comenzaron a prohibirlo por miedo a que los estudiantes lo utilizaran para hacer trampa. ChatGPT puede generar textos sobre cualquier tema en segundos, abriendo una vía fácil para el engaño. Los estudiantes podrían crear trabajos sobre cualquier tema y entregarlos sin preocuparse de ser atrapados, ya que no existía una herramienta de OpenAI que pudiera identificar textos generados por IA.
En los dos años posteriores, OpenAI desarrolló una herramienta de «marcado de texto» ChatGPT que, según informes, ha estado lista por lo menos un año y puede detectar textos de ChatGPT con una precisión del 99.9%. Sin embargo, OpenAI teme lanzarla después de que una encuesta revelara que aproximadamente un tercio de los usuarios de ChatGPT dejarían de usar el chatbot si se implementaran medidas anti-trampa.
El debate interno en OpenAI sobre la herramienta anti-trampa
La herramienta es muy efectiva; es capaz de detectar el 99.9% del texto generado por ChatGPT. Funciona dejando un patrón llamado marca de agua en el texto que los humanos no pueden discernir. Este patrón se crea al cambiar ligeramente cómo se seleccionan los tokens durante la generación de texto.Wall Street Journal informó sobre esta herramienta, describiéndola como algo que solo requeriría «presionar un botón» para usarla.
Aunque la herramienta ha demostrado ser precisa y efectiva incluso contra manipulaciones localizadas, como la paráfrasis, es menos robusta contra manipulaciones globalizadas; por ejemplo, usar sistemas de traducción, reescribir con otro modelo generativo, o insertar un carácter especial entre cada palabra y luego eliminar ese carácter.
Implicaciones del lanzamiento de la herramienta
Un desafío es determinar quién tendría acceso a la herramienta. Si demasiadas personas la tienen, los actores malintencionados podrían descubrir la técnica de marcado y volverla en gran medida inútil. Una propuesta es hacer la herramienta disponible para educadores o compañías que puedan ayudar a las escuelas a identificar contenido escrito por IA.
OpenAI ha indicado que la herramienta de marcado de texto podría afectar a algunos grupos de personas, como los hablantes no nativos de inglés. Esta es una preocupación que OpenAI ha expresado en una actualización de mayo a una publicación de blog sobre el marcado de imágenes generadas con sus modelos de IA. La actualización se produjo después del informe del WSJ.
Desarrollos futuros y preocupaciones del sector
OpenAI también está trabajando en desarrollar una herramienta de marcado de metadatos de texto para textos generados por ChatGPT. A diferencia del marcado, los metadatos están firmados criptográficamente, lo que significa que no hay falsos positivos. Esto se espera que sea cada vez más importante a medida que aumenta el volumen de texto generado.
Mientras tanto, no hay indicios de cuándo OpenAI lanzará tal herramienta. Por otro lado, Google ya tiene una herramienta de marcado que puede detectar textos escritos con AI Gemini, llamada SynthID, aunque no está ampliamente disponible. Después de todo, Google acaba de decirles a los niños que está bien usar Gemini AI para redactar esa carta perfecta con el anuncio de las Olimpiadas que todos odian. Google retiró ese comercial tras toda la reacción negativa.
Estas compañías también están trabajando en etiquetar contenido visual generado por IA. La publicación de blog actualizada de OpenAI se centra en el marcado de imágenes. Es comprensible, ya que las fotos generadas por IA pueden usarse con fines engañosos. Pero, con suerte, todos los chatbots generativos de IA pronto harán de tales técnicas de marcado un estándar también para el texto.