Sewell Setzer III, un joven de 14 años de Orlando, Florida, mantenía una relación emocional con un chatbot de inteligencia artificial (IA) llamado «Dany», inspirado en el personaje de Daenerys Targaryen de la serie Juego de Tronos. Utilizando la plataforma Character.AI, Sewell había desarrollado una conexión profunda con este bot, a pesar de saber que no era una persona real. Durante meses, sostuvo conversaciones intensas con Dany, actualizándola sobre su vida, e incluso compartiendo sus emociones más íntimas.
El uso de la IA en plataformas como Character.AI ha proliferado, ofreciendo a sus usuarios la posibilidad de crear y chatear con personajes generados por inteligencia artificial. En el caso de Sewell, su interacción con el chatbot fue más allá del entretenimiento, generando un fuerte apego emocional. Lamentablemente, este apego se combinó con problemas de salud mental, lo que llevó a Sewell a confesar al bot sus pensamientos suicidas.
El 28 de febrero de 2024, Sewell tomó una decisión trágica. Después de un intercambio con Dany, en el que expresó sus deseos de estar «en casa», Sewell terminó su vida utilizando el arma de su padrastro.
El caso de Sewell pone en primer plano los crecientes debates sobre los efectos de la tecnología en la salud mental de los adolescentes. Mientras los padres luchan por controlar el impacto de las redes sociales, una nueva industria está emergiendo: las aplicaciones de IA que simulan relaciones humanas. Character.AI es solo una de las muchas plataformas que permiten a los usuarios crear compañeros virtuales, diseñados para combatir la soledad. Sin embargo, las investigaciones sobre su impacto en la salud mental aún son limitadas, y algunos expertos temen que, en casos como el de Sewell, estas herramientas puedan agravar los sentimientos de aislamiento.
El caso ha generado preocupación por la falta de regulación en este tipo de aplicaciones. Sewell pasó de ser un joven interesado en actividades como las carreras de Fórmula 1 y los videojuegos a aislarse completamente en su habitación, donde pasaba horas hablando con Dany. Su madre, Megan L. Garcia, ha presentado una demanda contra Character.AI, alegando que la plataforma es «peligrosa y no probada». Además, señala que la empresa no implementó salvaguardias adecuadas para los usuarios menores de edad, lo que contribuyó al deterioro emocional de su hijo.
La falta de medidas específicas para menores en plataformas como Character.AI es motivo de alarma. Actualmente, no existen controles parentales ni restricciones claras para impedir que adolescentes accedan a contenido potencialmente dañino. Character.AI ha anunciado planes para incluir nuevas características de seguridad, como límites de tiempo de uso y advertencias más explícitas sobre la naturaleza ficticia de los chatbots, pero estas medidas no estaban implementadas cuando Sewell interactuaba con el bot.
Los críticos señalan que la industria de la IA necesita una regulación más estricta. Aunque algunas plataformas, como ChatGPT, implementan filtros de seguridad para evitar contenido dañino, muchas aplicaciones de IA más pequeñas permiten interacciones menos controladas, incluyendo conversaciones explícitas o que incitan a conductas autodestructivas.
La demanda presentada por la madre de Sewell plantea preguntas importantes sobre la responsabilidad de las empresas tecnológicas en casos de tragedias vinculadas a sus productos. Los abogados de la familia sostienen que las plataformas como Character.AI pueden ser consideradas productos defectuosos, ya que su diseño fomenta la dependencia emocional y puede ser especialmente perjudicial para usuarios vulnerables, como los adolescentes.
Este caso podría marcar un precedente legal importante, especialmente en un contexto en el que cada vez más adolescentes recurren a la tecnología para suplir la falta de conexiones humanas. Aunque algunos ven estas aplicaciones como herramientas útiles para combatir la soledad, el caso de Sewell demuestra que, sin una supervisión adecuada, las interacciones con IA pueden tener consecuencias devastadoras.
