OpenAI ha desarrollado una herramienta que podría identificar a estudiantes que hacen trampa al pedir a ChatGPT que realice sus tareas. No obstante, según The Wall Street Journal, la compañía está debatiendo si realmente lanzará esta herramienta al mercado.
En una declaración a TechCrunch, un portavoz de OpenAI confirmó que la empresa está investigando el método de marca de agua en textos descrito en el artículo del Journal. Sin embargo, mencionó que están adoptando un «enfoque deliberado» debido a «las complejidades involucradas y su probable impacto en el ecosistema más amplio más allá de OpenAI».
“El método de marca de agua en textos que estamos desarrollando es prometedor desde el punto de vista técnico, pero tiene riesgos importantes que estamos evaluando mientras investigamos alternativas, incluyendo la susceptibilidad a la elusión por parte de actores malintencionados y el potencial de impactar desproporcionadamente a grupos como los hablantes no nativos de inglés,” explicó el portavoz.
Este enfoque sería diferente a la mayoría de los esfuerzos anteriores para detectar textos generados por inteligencia artificial, que han sido en gran medida ineficaces. Incluso OpenAI cerró su detector de texto de IA el año pasado debido a su «baja tasa de precisión.»
Con la marca de agua en textos, OpenAI se centraría únicamente en detectar escritos provenientes de ChatGPT, y no de otros modelos de diferentes compañías. Esto se lograría realizando pequeños cambios en cómo ChatGPT selecciona las palabras, creando esencialmente una marca de agua invisible en los escritos que podría ser detectada posteriormente por una herramienta separada.
Tras la publicación del artículo del Journal, OpenAI también actualizó una entrada de blog de mayo sobre su investigación en la detección de contenido generado por IA. La actualización afirma que la marca de agua en textos ha demostrado ser «altamente precisa e incluso efectiva contra manipulaciones localizadas, como la paráfrasis,» pero ha resultado «menos robusta contra manipulaciones globales; como el uso de sistemas de traducción, la reescritura con otro modelo generativo o pedir al modelo que inserte un carácter especial entre cada palabra y luego eliminar ese carácter.»
Como resultado, OpenAI escribe que este método es «trivial de eludir por actores malintencionados.» La actualización de OpenAI también resalta el punto del portavoz sobre los hablantes no nativos de inglés, escribiendo que la marca de agua en textos podría «estigmatizar el uso de la IA como una herramienta útil de escritura para hablantes no nativos de inglés.»
