Una reciente investigación realizada por la organización francesa SaferAI ha expuesto serias deficiencias en la gestión de riesgos de algunas de las principales empresas de inteligencia artificial (IA), destacando que la empresa de Elon Musk, xAI, es la que presenta las medidas de seguridad más insuficientes. El informe, publicado por primera vez el pasado miércoles, evalúa las prácticas de gestión de riesgos de diversas compañías de IA, con el objetivo de establecer un estándar claro sobre cómo estas empresas manejan los riesgos que presentan estos sistemas emergentes.
Siméon Campos, fundador de SaferAI, señaló que uno de los principales problemas es que el desarrollo de la IA está avanzando a un ritmo mucho más rápido que la implementación de medidas para gestionar los riesgos asociados. Los sistemas de IA ya han demostrado ser capaces de realizar acciones preocupantes, como hackear sitios web o ayudar en la creación de armas biológicas. Mientras tanto, los gobiernos han sido lentos en establecer regulaciones adecuadas. Por ejemplo, un proyecto de ley en California para regular la industria de la IA fue recientemente vetado por el gobernador Gavin Newsom.
Campos destaca la importancia de las calificaciones de SaferAI, afirmando que su propósito es llenar un vacío mientras no existan evaluaciones oficiales por parte de los gobiernos. Para realizar estas evaluaciones, los investigadores analizaron la “red team” de las empresas, es decir, los esfuerzos técnicos destinados a identificar fallos y vulnerabilidades en sus modelos de IA, así como las estrategias de las compañías para modelar amenazas y mitigar riesgos.
En el análisis de seis compañías, xAI fue la peor valorada con una puntuación de 0 sobre 5. Meta y Mistral AI también recibieron calificaciones de “gestión de riesgos muy débil”. OpenAI y Google Deepmind fueron calificadas como “débiles”, mientras que Anthropic lideró con una puntuación de 2.2 sobre 5, siendo la única empresa con una calificación de “moderada”.
La baja puntuación de xAI se debe, según Campos, a la escasez de publicaciones sobre sus prácticas de gestión de riesgos. Sin embargo, confía en que la compañía mejorará en los próximos meses, ya que su modelo Grok 2 compite directamente con otros sistemas como Chat-GPT. “Espero que sea algo transitorio, que publiquen algo en los próximos seis meses y podamos actualizar su calificación”, afirmó.
Campos también espera que estas evaluaciones presionen a las empresas a mejorar sus procesos internos, lo que podría reducir el sesgo en los modelos, controlar la difusión de desinformación y evitar su mal uso por actores maliciosos. Además, sugiere que estas compañías adopten algunos de los principios aplicados en industrias de alto riesgo como la energía nuclear, la bioseguridad o la aviación, ya que, aunque son sectores muy diferentes, comparten principios comunes en la gestión de riesgos.
El marco de evaluación de SaferAI ha sido diseñado para ser compatible con estándares de IA de relevancia mundial, como los establecidos por la Ley de IA de la UE y el Proceso de Hiroshima del G7. La organización también es parte del Consorcio de Seguridad de IA de EE. UU., creado por la Casa Blanca en febrero. SaferAI se financia principalmente a través de la organización sin fines de lucro Founders Pledge y el inversor Jaan Tallinn.
El reconocido investigador en IA Yoshua Bengio apoyó este sistema de calificación, afirmando que espera que garantice la seguridad de los modelos que las empresas desarrollan y despliegan. “No podemos permitir que se evalúen a sí mismos”, concluyó Bengio.
