En un estudio que marca un hito en la industria, OpenAI, la empresa creadora de ChatGPT, ha admitido oficialmente en su propia investigación que los grandes modelos de lenguaje siempre producirán alucinaciones debido a limitaciones matemáticas fundamentales que no pueden resolverse mediante mejores técnicas de ingeniería.
Un reconocimiento histórico de la compañía líder en IA
Esta admisión resulta particularmente significativa viniendo de OpenAI, la empresa que desató el actual boom de la inteligencia artificial y convenció a millones de usuarios y empresas de adoptar tecnología de IA generativa.
El estudio, publicado el 4 de septiembre y liderado por los investigadores de OpenAI Adam Tauman Kalai, Edwin Zhang y Ofir Nachum, junto con Santosh S. Vempala del Georgia Tech, proporciona un marco matemático exhaustivo que explica por qué los sistemas de IA deben generar información plausible pero falsa incluso cuando se entrenan con datos perfectos.
«Como estudiantes enfrentando preguntas difíciles en un examen, los grandes modelos de lenguaje a veces adivinan cuando tienen incertidumbre, produciendo declaraciones plausibles pero incorrectas en lugar de admitir incertidumbre», escribieron los investigadores en el paper. «Tales ‘alucinaciones’ persisten incluso en los sistemas más avanzados y socavan la confianza».
Los propios modelos de OpenAI fallan pruebas básicas
Los investigadores demostraron que las alucinaciones surgen de propiedades estadísticas del entrenamiento de modelos de lenguaje, no de fallas de implementación. El estudio estableció que «la tasa de error generativo es al menos el doble de la tasa de clasificación errónea IIV», donde IIV se refiere a «Is-It-Valid» (¿Es válido?).
Ejemplos concretos de fallas
Los experimentos revelaron resultados preocupantes:
- DeepSeek-V3 (600 mil millones de parámetros): Al preguntársele «¿Cuántas Ds hay en DEEPSEEK?», respondió «2» o «3» en diez pruebas independientes
- Meta AI y Claude 3.7 Sonnet: Tuvieron desempeños similares, «incluyendo respuestas tan grandes como ‘6’ y ‘7’»
OpenAI también reconoció la persistencia del problema en sus propios sistemas: «ChatGPT también alucina. GPT-5 tiene significativamente menos alucinaciones, especialmente cuando razona, pero aún ocurren. Las alucinaciones siguen siendo un desafío fundamental para todos los grandes modelos de lenguaje».
Los modelos más avanzados empeoran el problema
Paradójicamente, los modelos de razonamiento avanzado de OpenAI alucinarON más frecuentemente que los sistemas más simples:
- Modelo o1: Alucinó el 16% del tiempo al resumir información pública
- Modelos o3 y o4-mini: Alucinaron el 33% y 48% del tiempo, respectivamente
Las tres causas matemáticas inevitables
La investigación identificó tres factores matemáticos que hacen inevitables las alucinaciones:
- Incertidumbre epistémica: Cuando la información aparece raramente en los datos de entrenamiento
- Limitaciones del modelo: Cuando las tareas exceden la capacidad representacional de las arquitecturas actuales
- Intratabilidad computacional: Cuando incluso sistemas superinteligentes no pueden resolver problemas criptográficamente difíciles
Los métodos de evaluación de la industria empeoran el problema
Más allá de probar que las alucinaciones son inevitables, la investigación reveló que los métodos de evaluación de la industria fomentan activamente el problema. El análisis de benchmarks populares, incluyendo GPQA, MMLU-Pro y SWE-bench, encontró que nueve de cada 10 evaluaciones principales usaban calificación binaria que penalizaba las respuestas «No lo sé» mientras recompensaba respuestas incorrectas pero confiadas.
«Argumentamos que los modelos de lenguaje alucinan porque los procedimientos de entrenamiento y evaluación recompensan adivinar sobre reconocer incertidumbre», escribieron los investigadores.
Impacto en las empresas
Charlie Dai, vicepresidente y analista principal en Forrester, señaló que las empresas ya enfrentan desafíos con esta dinámica: «Los clientes luchan cada vez más con desafíos de calidad del modelo en producción, especialmente en sectores regulados como finanzas y salud».
Neil Shah, VP de investigación en Counterpoint Technologies, explicó: «A diferencia de la inteligencia humana, carece de la humildad para reconocer incertidumbre. Cuando no está segura, no defiere a investigación más profunda o supervisión humana; en cambio, a menudo presenta estimaciones como hechos».
Nuevas estrategias empresariales necesarias
Los expertos creen que la inevitabilidad matemática de los errores de IA demanda nuevas estrategias empresariales:
Cambio en la gobernanza
«La gobernanza debe cambiar de prevención a contención de riesgos», dijo Dai. «Esto significa procesos más fuertes de human-in-the-loop, barreras específicas del dominio y monitoreo continuo».
Reforma en los criterios de selección
Ambos analistas acordaron que los criterios de selección de proveedores necesitan revisión fundamental. «Las empresas deberían priorizar confianza calibrada y transparencia sobre puntajes de benchmark en bruto», recomendó Dai.
Shah sugirió desarrollar «un índice de confianza en tiempo real, un sistema de puntuación dinámico que evalúe las salidas del modelo basado en ambigüedad del prompt, comprensión contextual y calidad de la fuente».
Un nuevo estándar para la industria
Shah abogó por reformas de evaluación a nivel industrial similares a los estándares de seguridad automotriz: «Así como los componentes automotrices se califican bajo estándares ASIL para garantizar seguridad, los modelos de IA deberían asignarse grados dinámicos, nacional e internacionalmente, basados en su confiabilidad y perfil de riesgo».
Conclusiones para el futuro de la IA
Los investigadores de OpenAI concluyeron que sus hallazgos requieren cambios en toda la industria en los métodos de evaluación. «Este cambio puede dirigir el campo hacia sistemas de IA más confiables», escribieron, mientras reconocían que su investigación probó que algún nivel de no confiabilidad persistirá independientemente de las mejoras técnicas.
Para las empresas, el mensaje es claro: Las alucinaciones de IA representan no un desafío temporal de ingeniería, sino una realidad matemática permanente que requiere nuevos marcos de gobernanza y estrategias de gestión de riesgos.
La admisión de OpenAI marca un punto de inflexión en la industria, obligando a repensar fundamentalmente cómo desarrollamos, evaluamos e implementamos sistemas de inteligencia artificial en entornos críticos.
