La creciente preocupación sobre los riesgos que la inteligencia artificial (IA) podría representar para la humanidad ha llevado a expertos como el profesor John McDermid a abogar por una investigación colaborativa en seguridad de la IA. Este enfoque sugiere que los reguladores deben tener la capacidad de «retirar» modelos ya desplegados y evaluar indicadores de riesgo anticipados, en lugar de reactivos. La idea es que, al involucrar a los reguladores desde el principio, se pueda diseñar la IA con la seguridad como prioridad, aprovechando la experiencia de industrias con antecedentes en seguridad.
Actualmente, la IA de vanguardia se somete a pruebas post-desarrollo mediante equipos especializados que intentan provocar resultados negativos. Sin embargo, McDermid argumenta que este método es insuficiente, ya que la IA debe ser concebida desde su origen para ser segura y evaluable. Esto se puede lograr mediante la aplicación de conocimientos de sectores industriales que ya cuentan con protocolos de seguridad bien establecidos. La preocupación de Geoffrey Hinton sobre la amenaza existencial de la IA no parece estar relacionada con una codificación intencionada de riesgos, lo que sugiere que se debería fomentar la prevención deliberada de tales escenarios.
En dominios tradicionales donde la seguridad es crítica, como la aviación, la necesidad de construir sistemas físicos limita la velocidad a la que se pueden introducir cambios. Sin embargo, la IA no tiene tales limitaciones físicas, lo que permite un despliegue rápido y potencialmente peligroso. Por ello, es crucial que la regulación intervenga, idealmente con evaluaciones de riesgo previas al despliegue. Los actuales indicadores de riesgo son insuficientes, ya que no consideran factores como el sector de aplicación o la escala de implementación.
Para abordar estos desafíos, los reguladores deben tener la autoridad para «retirar» modelos ya en uso y las grandes empresas desarrolladoras deben incorporar mecanismos que detengan usos específicos. Además, es fundamental apoyar el trabajo en la evaluación de riesgos que proporcione indicadores anticipados, no solo reactivos. En otras palabras, el gobierno debe enfocarse en controles regulatorios post-mercado mientras fomenta la investigación que permita a los reguladores aplicar controles pre-mercado. Aunque este enfoque es complejo, es imprescindible si se confirma el nivel de riesgo que Hinton advierte para la humanidad.
 podría representar para la humanidad ha llevado a expertos como el profesor John McDermid a abogar por una investigación colaborativa en seguridad de la IA. Este enfoque sugiere que los reguladores deben tener la capacidad de "retirar" modelos ya desplegados y evaluar indicadores de riesgo anticipados, en lugar de reactivos.){kind=link}