Optum, una filial del gigante de seguros de salud UnitedHealth, ha restringido el acceso a un chatbot de inteligencia artificial (IA) utilizado internamente por sus empleados, después de que un investigador de seguridad descubriera que era accesible públicamente en internet. Este chatbot permitía a los empleados realizar consultas sobre la gestión de reclamaciones de seguros de salud, siguiendo los procedimientos operativos estándar de la empresa.
A pesar de que el chatbot no contenía información personal sensible, su exposición se produce en un momento crítico para UnitedHealth, que enfrenta críticas por su uso de herramientas de IA para supuestamente anular decisiones médicas y denegar reclamaciones de pacientes. Mossab Hussein, oficial de seguridad de la firma de ciberseguridad spiderSilk, alertó sobre la exposición del chatbot, conocido como «SOP Chatbot». Aunque estaba alojado en un dominio interno, su dirección IP era pública y no requería autenticación para acceder.
Optum ha declarado que el chatbot era una herramienta de demostración y nunca se puso en producción. Según el portavoz Andrew Krejci, el propósito del demo era probar cómo el chatbot respondía a preguntas basadas en un conjunto reducido de documentos de SOP, confirmando que no se utilizó información de salud protegida en su desarrollo. La empresa enfatizó que la tecnología no fue escalada ni utilizada de manera real.
El chatbot de Optum fue entrenado con documentos internos relacionados con SOPs para gestionar ciertas reclamaciones, ayudando a los empleados a resolver dudas sobre la elegibilidad de las reclamaciones para ser reembolsadas. Aunque los documentos estaban alojados en la red corporativa de UnitedHealthcare y requerían inicio de sesión para acceder, el chatbot podía citar y referenciar su contenido. Desde septiembre, los empleados de Optum han utilizado el chatbot cientos de veces, almacenando un historial de conversaciones que incluía preguntas como «¿Cuál debería ser la determinación de la reclamación?» y «¿Cómo verifico la fecha de renovación de la póliza?».
El caso de Optum se enmarca en un contexto más amplio de críticas hacia UnitedHealth Group, que enfrenta acciones legales por el uso de modelos de IA para denegar coberturas críticas de salud. Un informe de STAT News reveló que la compañía fue demandada por utilizar un modelo de IA con un 90% de tasa de error para denegar atención a pacientes ancianos. UnitedHealth Group, que generó $22 mil millones en ganancias sobre ingresos de $371 mil millones en 2023, ha declarado que se defenderá en los tribunales.
 utilizado internamente por sus empleados, después de que un investigador de seguridad descubriera que era accesible públicamente en internet. Este chatbot permitía a los empleados realizar consultas sobre la gestión de reclamaciones de seguros de salud, siguiendo los procedimientos operativos estándar de la empresa.){kind=link}