En un experimento reciente llevado a cabo por investigadores de la Universidad Carnegie Mellon, se simuló una empresa ficticia, TheAgentCompany, para evaluar cómo los agentes de inteligencia artificial (IA) podrían desempeñar funciones laborales en un entorno profesional. El resultado fue decepcionante: la mayoría de los modelos de IA no lograron completar las tareas asignadas.
Los investigadores utilizaron modelos de IA de grandes empresas como Google, OpenAI, Anthropic y Meta para ejecutar tareas típicas que un empleado humano podría realizar. Esto incluyó desde el análisis de bases de datos hasta la redacción de informes de desempeño. Sin embargo, los resultados mostraron que el modelo de mejor rendimiento, Claude 3.5 Sonnet de Anthropic, solo completó poco menos del 25% de las tareas, mientras que otros modelos, como Gemini 2.0 Flash de Google y el que alimenta a ChatGPT, alcanzaron apenas un 10%.
Problemas comunes enfrentados por la IA
Los agentes de IA comenzaron fuerte en las tareas, pero se enfrentaron a problemas significativos a medida que complejizaba el trabajo. La falta de sentido común, habilidades sociales y capacidades técnicas de los modelos de IA impedían su éxito. Por ejemplo, en una situación donde un agente debió anexar respuestas a un documento, trató el archivo como un texto plano y no pudo completar la tarea. Además, los modelos a menudo malinterpretaron instrucciones o no hicieron seguimientos de direcciones clave, completando tareas de manera anticipada.
Graham Neubig, profesor de informática en CMU y uno de los autores del estudio, señala que «es relativamente fácil enseñarles a ser buenos socios de conversación; pero es más complicado enseñarles a hacer todo lo que un empleado humano puede.»
Resultados y futuras implicaciones
Aunque el estudio no representa un entorno completamente realista en el que operarían estos agentes, sí pone de relieve las limitaciones actuales de la IA. A pesar de que ciertas empresas están experimentando con IA para automatizar procesos, el camino a la autonomía y eficiencia sigue siendo complicado. Las tareas administrativas, que son fundamentales en muchas funciones laborales, requieren habilidades humanas que la IA aún no puede replicar efectivamente.
Las conclusiones del estudio sugieren que, a pesar de los avances, la idea de una fuerza laboral compuesta enteramente por agentes de IA podría estar más lejos de lo que se había anticipado. Con la creciente demanda por estos sistemas autónomos, será crucial mejorar su capacidad para manejar trabajos complejos y así potencialmente transformar el entorno laboral en un futuro.
Stephen Casper, investigador de IA, sostiene que los agentes están «ridículamente sobreestimados» en sus capacidades. La mayoría de los sistemas de IA actuales son efectivos principalmente en tareas de conversación, pero carecen de la versatilidad y la adaptabilidad necesarias para realizar trabajos complejos de manera autónoma.
Conclusión
La promesa de la inteligencia artificial continúa fascinando a líderes empresariales y tecnológicos, pero este estudio resalta de manera contundente que debemos ser cautelosos ante su despliegue masivo en roles laborales. Aunque la IA puede contribuir a ciertas tareas, el trabajo humano sigue siendo indispensable en muchas áreas.
