El chatbot del gobierno de Nueva York, diseñado para ayudar a los ciudadanos a encontrar información sobre diferentes aspectos legales y normativos, ha generado preocupación al proporcionar respuestas inexactas e incorrectas. Esta situación se ha detectado en diversas consultas relacionadas con leyes locales y regulaciones de la ciudad, lo que pone en entredicho la eficacia de esta herramienta en la prestación de servicios públicos.
En un mundo donde la inteligencia artificial (IA) se integra cada vez más en nuestro día a día, la fiabilidad de la información proporcionada por estas tecnologías se convierte en un tema de preocupante relevancia. Un ejemplo alarmante de esto se ha presentado recientemente con el chatbot gubernamental «MyCity» de Nueva York, el cual ha estado proporcionando respuestas incorrectas a preguntas importantes relacionadas con la ley local y las políticas municipales. Este hecho resalta la necesidad de una evaluación rigurosa antes de la implementación pública de estas herramientas.
Lanzado en octubre como un programa piloto, «MyCity» fue promocionado como una herramienta diseñada para ayudar a los propietarios de negocios a obtener información confiable y accionable de más de 2.000 páginas web y artículos relacionados con el cumplimiento de códigos y regulaciones, incentivos comerciales disponibles, y prácticas recomendadas para evitar violaciones y multas. Sin embargo, un informe reciente ha puesto en duda la precisión de la información suministrada por el chatbot.
Una investigación conjunta de The Markup y el sitio de noticias sin fines de lucro The City reveló que «MyCity» ha estado dando información peligrosamente incorrecta sobre políticas básicas de la ciudad. Por ejemplo, afirmó erróneamente que los edificios en NYC no están obligados a aceptar los vales de Sección 8, cuando en realidad, las subsidios de vivienda de Sección 8 son reconocidos como una fuente de ingresos legítima que los propietarios deben aceptar sin discriminación. Otras respuestas incorrectas involucraron la regulación de salarios y horas de trabajo, así como información específica de la industria, como los precios de las funerarias.
Este fenómeno, conocido como «confabulación», es común en los chatbots basados en modelos de lenguaje de aprendizaje profundo, como los alimentados por Microsoft Azure en el caso de «MyCity». Estos chatbots utilizan un complejo proceso de asociaciones estadísticas para «adivinar» la palabra más probable en una secuencia dada, sin un verdadero entendimiento de la información subyacente.
El caso de «MyCity» subraya el riesgo de que gobiernos y corporaciones implementen chatbots al público sin haber validado completamente su precisión y confiabilidad. La experiencia sugiere un movimiento hacia modelos de Generación Aumentada por Recuperación (RAG), que se enfocan únicamente en un conjunto relevante de información, lo cual podría mejorar significativamente la precisión de estas herramientas.
Además, este incidente refuerza la importancia de la advertencia presente en el chatbot, que indica a los usuarios no confiar plenamente en sus respuestas como sustituto de asesoramiento profesional, a pesar de estar entrenado para proporcionar información oficial de negocios en NYC. La Oficina de Tecnología e Innovación de NYC ha respondido a estas preocupaciones asegurando que continuarán mejorando la herramienta para brindar un mejor apoyo a los pequeños negocios de la ciudad.
