Common Sense Media, una organización sin fines de lucro enfocada en la seguridad infantil que ofrece calificaciones y reseñas de medios y tecnología, publicó el viernes su evaluación de riesgo de los productos de inteligencia artificial Gemini de Google. Aunque la organización encontró que la IA de Google claramente les decía a los niños que era una computadora, no un amigo —algo que está asociado con ayudar a impulsar el pensamiento delirante y la psicosis en individuos emocionalmente vulnerables—, sugirió que había espacio para mejoras en varios otros frentes.
Las versiones para menores son básicamente las mismas que para adultos
Notablemente, Common Sense señaló que los niveles «Menores de 13» y «Experiencia Teen» de Gemini parecían ser las versiones para adultos de Gemini bajo el capó, con solo algunas características de seguridad adicionales añadidas encima. La organización cree que para que los productos de IA sean verdaderamente más seguros para los niños, deberían construirse con la seguridad infantil en mente desde el principio.
Por ejemplo, su análisis encontró que Gemini aún podría compartir material «inapropiado e inseguro» con los niños, para el cual podrían no estar preparados, incluyendo información relacionada con sexo, drogas, alcohol y otros consejos inseguros de salud mental.
Preocupaciones sobre la salud mental adolescente
Este último punto podría ser de particular preocupación para los padres, ya que la IA ha jugado un papel reportado en algunos suicidios adolescentes en meses recientes. OpenAI está enfrentando su primera demanda por muerte injusta después de que un niño de 16 años muriera por suicidio tras consultar supuestamente con ChatGPT durante meses sobre sus planes, habiendo logrado eludir las barreras de seguridad del chatbot. Previamente, el fabricante de compañeros de IA Character.AI también fue demandado por el suicidio de un usuario adolescente.
Además, el análisis llega mientras las filtraciones de noticias indican que Apple está considerando Gemini como el LLM (large language model) que ayudará a impulsar su próximo Siri habilitado con IA, que saldrá el próximo año. Esto podría exponer a más adolescentes a riesgos, a menos que Apple mitigue las preocupaciones de seguridad de alguna manera.
Calificación de «alto riesgo» para ambos grupos de edad
Common Sense también dijo que los productos de Gemini para niños y adolescentes ignoraban cómo los usuarios más jóvenes necesitaban orientación e información diferentes que los mayores. Como resultado, ambos fueron etiquetados como «Alto Riesgo» en la calificación general, a pesar de los filtros añadidos para seguridad.
«Gemini hace algunas cosas básicas correctamente, pero tropieza en los detalles», dijo Robbie Torney, Director Senior de Programas de IA de Common Sense Media, en una declaración sobre la nueva evaluación. «Una plataforma de IA para niños debería encontrarlos donde están, no tomar un enfoque de talla única para niños en diferentes etapas de desarrollo. Para que la IA sea segura y efectiva para los niños, debe diseñarse con sus necesidades y desarrollo en mente, no solo una versión modificada de un producto construido para adultos».
Respuesta de Google
Google rechazó la evaluación, aunque notó que sus características de seguridad estaban mejorando.
La compañía le dijo a TechCrunch que tiene políticas específicas y salvaguardas en su lugar para usuarios menores de 18 años para ayudar a prevenir salidas dañinas y que hace red-teaming y consulta con expertos externos para mejorar sus protecciones. Sin embargo, también admitió que algunas de las respuestas de Gemini no estaban funcionando como se pretendía, por lo que añadió salvaguardas adicionales para abordar esas preocupaciones.
La compañía señaló (como Common Sense también había notado) que sí tiene salvaguardas para prevenir que sus modelos se involucren en conversaciones que podrían dar la apariencia de relaciones reales. Además, Google sugirió que el reporte de Common Sense parecía haber referenciado características que no estaban disponibles para usuarios menores de 18 años, pero no tenía acceso a las preguntas que la organización usó en sus pruebas para estar seguro.
