El sesgo algorítmico se refiere a la tendencia de los algoritmos a favorecer ciertos grupos o resultados en detrimento de otros, debido a datos sesgados utilizados en su entrenamiento. En el ámbito militar, esto podría traducirse en decisiones erróneas o injustas durante operaciones militares, lo que plantea serias implicaciones éticas y legales.
La primera sesión del Grupo de Expertos Gubernamentales (GGE) sobre sistemas de armas letales autónomas (LAWS) en 2024 marcó un hito importante al abordar la problemática del sesgo algorítmico bajo el tema de «mitigación de riesgos y construcción de confianza». La discusión, enriquecida por un documento de trabajo presentado por Canadá, Costa Rica, Alemania, Irlanda, México y Panamá, puso de manifiesto que el sesgo es tanto un problema social como técnico, requiriendo soluciones que trasciendan los límites tecnológicos.
La Dra. Ingvild Bode, profesora asociada en el Centro de Estudios de Guerra de la Universidad del Sur de Dinamarca, subraya la importancia de prestar mayor atención al riesgo de sesgo algorítmico conforme el GGE avanza hacia la operacionalización de estos sistemas. Basándose en la presentación durante el evento paralelo del GGE organizado por UNIDIR el 6 de marzo de 2024, Bode argumenta que el sesgo algorítmico, definido como la aplicación de algoritmos que exacerban desigualdades existentes, ha sido ampliamente discutido en contextos académicos y políticos pero no suficientemente en el ámbito militar.
Aunque la investigación y el debate sobre el sesgo en inteligencia artificial (IA) y su aplicación en el ámbito militar han sido limitados, podemos extrapolar valiosas lecciones de la literatura establecida en el espacio civil. Esto es crucial considerando que tanto las empresas tecnológicas civiles como las técnicas de IA empleadas en aplicaciones militares, como el aprendizaje automático, están sujetas a preocupaciones similares respecto al sesgo.
Tipos de sesgo en las tecnologías de IA:
- Sesgo en Datos: La representatividad limitada de los datos de entrenamiento puede conducir a sesgos directos e indirectos, afectando los resultados algorítmicos. Este fenómeno, conocido como «basura entra, basura sale», señala que los sesgos presentes en los datos de entrenamiento se propagan a través del desarrollo del modelo.
- Sesgo en Diseño y Desarrollo: Los procesos de toma de decisiones durante el desarrollo de la IA, a menudo inconscientes, pueden amplificar los sesgos presentes en los datos. La interacción humana en la anotación de datos, la selección de características y la evaluación de modelos puede introducir sesgos adicionales.
- Sesgo en Uso: La implementación de tecnologías de IA puede perpetuar y amplificar los sesgos existentes, creando bucles de retroalimentación negativos que justifican prácticas sesgadas.
Estos sesgos pueden llevar a daños legales y morales significativos, como la clasificación errónea de individuos en contextos militares, y afectar la funcionalidad y previsibilidad de los sistemas.
La solución al sesgo algorítmico no reside únicamente en estrategias técnicas como el reequilibrio de datos o el diseño de algoritmos «justos». Requiere un cambio fundamental en las actitudes discriminatorias, incluso desde la etapa de diseño de la IA. Es crucial examinar las culturas de trabajo y la diversidad en las profesiones STEM, tradicionalmente dominadas por un grupo limitado de personas que no representan a la sociedad en su conjunto.
