Un reciente estudio ha puesto de manifiesto que Instagram, propiedad de Meta, está facilitando la proliferación de contenido relacionado con el autolesionismo al no eliminar imágenes explícitas y alentar a los usuarios a establecer conexiones entre ellos. Esta investigación, llevada a cabo por investigadores daneses, ha calificado la moderación de la plataforma como «extremadamente inadecuada».
Los investigadores crearon una red privada de autolesionismo en Instagram, utilizando perfiles falsos de personas de tan solo 13 años. En esta red, compartieron 85 piezas de contenido relacionado con el autolesionismo, aumentando gradualmente su gravedad, incluyendo imágenes de sangre, cuchillas y mensajes de aliento al autolesionismo. El objetivo era evaluar la efectividad de las afirmaciones de Meta sobre la mejora de sus procesos de eliminación de contenido dañino, que supuestamente ahora emplean inteligencia artificial (IA).
A pesar de las afirmaciones de Meta de eliminar aproximadamente el 99% del contenido dañino antes de ser reportado, la organización Digitalt Ansvar encontró que ninguna imagen fue eliminada durante el experimento de un mes. Al desarrollar su propia herramienta de IA, Digitalt Ansvar logró identificar automáticamente el 38% de las imágenes de autolesionismo y el 88% de las más severas, sugiriendo que Instagram posee la tecnología para abordar el problema pero no la implementa de manera efectiva.
La moderación inadecuada de la plataforma sugiere que no está cumpliendo con la legislación de la UE, específicamente con la Ley de Servicios Digitales, que exige que los grandes servicios digitales identifiquen riesgos sistémicos, incluyendo consecuencias negativas previsibles para el bienestar físico y mental. Un portavoz de Meta afirmó que el contenido que fomenta el autolesionismo va en contra de sus políticas y que han eliminado más de 12 millones de piezas relacionadas con el suicidio y el autolesionismo en la primera mitad de 2024.
El estudio danés reveló que, en lugar de intentar desmantelar la red de autolesionismo, el algoritmo de Instagram estaba ayudando activamente a su expansión. La investigación sugiere que los adolescentes de 13 años se convierten en amigos de todos los miembros del grupo de autolesionismo después de conectarse con uno de sus miembros. Esto indica que el algoritmo de Instagram contribuye a la formación y difusión de redes de autolesionismo, lo que plantea serias preocupaciones sobre la seguridad de los jóvenes en la plataforma.