La proliferación de referencias a artículos falsos amenaza con socavar la legitimidad de la investigación institucional
Al finalizar el semestre de otoño, Andrew Heiss, profesor asistente en el Departamento de Gestión Pública y Políticas de la Escuela Andrew Young de Estudios Políticos en la Universidad Estatal de Georgia, estaba calificando los trabajos de sus estudiantes cuando notó algo alarmante.
Como es típico para los educadores hoy en día, Heiss estaba verificando las citas en los ensayos para asegurarse de que condujeran a fuentes reales y no fueran referencias falsas proporcionadas por un chatbot de inteligencia artificial. Naturalmente, descubrió que algunos de sus alumnos estaban usando IA generativa para hacer trampa: los bots no solo pueden ayudar a escribir el texto, sino que también pueden proporcionar supuesta evidencia de apoyo si se les pide que respalden afirmaciones, atribuyendo hallazgos a artículos previamente publicados.
El problema se extiende más allá del aula
Sin embargo, eso en sí mismo no era inusual. Lo que Heiss llegó a darse cuenta durante el proceso de verificación de estos trabajos fue que las citas generadas por IA ahora han infectado también el mundo de la investigación académica profesional. Cada vez que intentaba rastrear una fuente falsa en Google Scholar, veía que docenas de otros artículos publicados habían confiado en hallazgos de ligeras variaciones de los mismos estudios y revistas inventados.
«Ha habido muchos artículos generados por IA, y esos típicamente se notan y se retiran rápidamente», dice Heiss a Rolling Stone. Menciona un artículo retirado a principios de este mes, que discutía el potencial de mejorar los diagnósticos de autismo con un modelo de IA e incluía una infografía sin sentido que fue creada con un modelo de texto a imagen. «Pero este número de revista alucinado es ligeramente diferente», dice.
Esto se debe a que los artículos que incluyen referencias a material de investigación inexistente están siendo citados en otros trabajos, lo que efectivamente «blanquea» sus citas erróneas. Esto lleva a estudiantes y académicos (y cualquier modelo de lenguaje grande que puedan consultar para ayuda) a identificar esas «fuentes» como confiables sin confirmar su veracidad.
Un problema que se autoalimenta
Cuanto más se repiten estas citas falsas sin cuestionamiento de un artículo al siguiente, más se refuerza la ilusión de su autenticidad. Las citas falsas se han convertido en una pesadilla para los bibliotecarios de investigación, quienes según algunas estimaciones están desperdiciando hasta el 15 por ciento de sus horas de trabajo respondiendo a solicitudes de registros inexistentes que ChatGPT o Google Gemini mencionaron.
Heiss también notó que las notas generadas por IA podrían ser convincentes para un lector porque incluían nombres de académicos vivos y títulos que se asemejan estrechamente a la literatura existente. En algunos casos, encontró que la cita lo llevaba a un autor real, pero tanto el título del artículo como la revista eran fabricados, solo sonaban similares al trabajo que el autor ha publicado en el pasado y a una publicación periódica real que cubre tales temas.
Una amenaza sistemática al conocimiento
La psicóloga y científica cognitiva Iris van Rooij ha argumentado que la aparición de «basura de IA» en los recursos académicos presagia nada menos que «la destrucción del conocimiento». En julio, ella y otros en campos relacionados firmaron una carta abierta pidiendo a las universidades que resistan el bombo y el marketing para «salvaguardar la educación superior, el pensamiento crítico, la experiencia, la libertad académica y la integridad científica».
La indiferencia estructural hacia la verdad
Anthony Moser, ingeniero de software y tecnólogo, estaba entre quienes previeron cómo los chatbots eventualmente podrían vaciar las instituciones educativas. «Estoy imaginando a un instructor en algún lugar haciendo un programa de estudios con ChatGPT, asignando lecturas de libros que no existen», escribió en una publicación en Bluesky en 2023.
Moser explica que incluso afirmar que los LLM «alucinan» publicaciones ficticias malentiende la amenaza que representan para nuestra comprensión del mundo, porque el término «implica que es diferente de la percepción normal y correcta de la realidad». Pero los chatbots «siempre están alucinando«, dice. «No es un mal funcionamiento. Un modelo predictivo predice algún texto, y tal vez sea preciso, tal vez no, pero el proceso es el mismo de cualquier manera. Para decirlo de otra manera: los LLM son estructuralmente indiferentes a la verdad«.
Un problema amplificado, no creado
«Los LLM son perniciosos porque esencialmente están contaminando el ecosistema de información en la fuente», añade Moser. «Las citas inexistentes aparecen en investigaciones que son descuidadas o deshonestas, y de ahí pasan a otros artículos y trabajos que las citan, y trabajos que citan a esos, y luego está en el agua», dice, comparando este contenido con químicos dañinos y duraderos: «difíciles de rastrear y difíciles de filtrar, incluso cuando estás tratando de evitarlos».
Pero la IA no puede asumir toda la culpa. «La mala investigación no es nueva», señala Moser. «Los LLM han amplificado el problema dramáticamente, pero ya había una tremenda presión para publicar y producir, y había muchos artículos malos usando datos cuestionables o falsos, porque la educación superior ha sido organizada alrededor de la producción de objetos con forma de conocimiento, medidos en citas, conferencias y subvenciones».
El futuro incierto de la investigación académica
Craig Callender, profesor de filosofía en la Universidad de California San Diego y presidente de la Asociación de Filosofía de la Ciencia, está de acuerdo con esa evaluación, observando que «la apariencia de legitimidad a revistas no existentes es como el producto final lógico de las tendencias existentes«. Ya existen revistas que aceptan artículos espurios con fines de lucro, o investigación sesgada escrita por fantasmas destinada a beneficiar a la industria que la produjo.
Agregar IA a la mezcla significa que ese «pantano» está creciendo rápido, dice Callender. «Por ejemplo, todo esto se agrava de manera casi irreversible con las búsquedas de Google asistidas por IA. Estas búsquedas solo reforzarán la apariencia de que estas revistas existen, tal como actualmente refuerzan mucha desinformación».
Todo lo cual contribuye a una sensación entre los investigadores de que están siendo enterrados en una avalancha de basura, con capacidad limitada para tamizarla. «Ha sido increíblemente desalentador para la facultad, creo que bastante universalmente, especialmente cuando el contenido falso se consagra accidentalmente en bases de datos de investigación públicas», dice Heiss. «Es difícil trabajar hacia atrás en la cadena de citas para ver dónde se originaron las afirmaciones«.
Por supuesto, muchos ni siquiera están tratando de hacer eso, razón por la cual las cosas falsas han sido tan ampliamente diseminadas. Es casi como si la adopción acrítica e ingenua de la IA nos hubiera hecho más crédulos y hubiera minado nuestro pensamiento crítico en el momento preciso en que deberíamos estar más vigilantes que nunca. Es casi como si la adopción acrítica e ingenua de la IA nos hubiera hecho más crédulos y hubiera minado nuestro pensamiento crítico en el momento preciso en que deberíamos estar más atentos.
El ciclo vicioso de las referencias falsas
«Las cosas generadas por IA se propagan en otras cosas reales, así que los estudiantes las ven citadas en cosas reales y asumen que son reales, y se confunden sobre por qué pierden puntos por usar fuentes falsas cuando otras fuentes reales las utilizan», explica Heiss. «Todo parece real y legítimo».
Desde que los LLM se han convertido en herramientas comunes, los académicos han advertido que amenazan con socavar nuestra comprensión de los datos al inundar el espacio con contenido fraudulento. En julio, van Rooij y otros en campos relacionados firmaron una carta abierta pidiendo a las universidades que resistan el bombo y el marketing para «salvaguardar la educación superior, el pensamiento crítico, la experiencia, la libertad académica y la integridad científica». Los autores afirmaron que las escuelas han «coaccionado» a la facultad para usar IA o permitirla en sus clases, y solicitaron un análisis más riguroso y completo sobre si puede tener algún papel útil en la educación.
Un problema predecible pero ignorado
Moser califica el problema como «el resultado completamente predecible de decisiones deliberadas», con aquellos que plantearon objeciones «ignorados o anulados». La ironía es palpable: en un momento en que deberíamos estar fortaleciendo nuestras capacidades de verificación y pensamiento crítico, la tecnología que prometía democratizar el conocimiento está en realidad erosionando los cimientos mismos de la investigación académica.
El pantano crece
«El ‘pantano’ en la publicación científica está creciendo», afirma Callender. «Muchas prácticas hacen que revistas o artículos existentes que no son legítimos parezcan legítimos. Así que el siguiente paso hacia revistas inexistentes es aterrador pero no demasiado sorprendente».
El problema se magnifica exponencialmente con cada nueva herramienta de IA que se integra en nuestros flujos de trabajo. «Por ejemplo, todo esto se agrava de manera casi irreversible con las búsquedas de Google asistidas por IA», advierte Callender. «Estas búsquedas solo reforzarán la apariencia de que estas revistas existen, tal como actualmente refuerzan mucha desinformación».
La erosión del conocimiento institucional
Todo esto contribuye a una sensación generalizada entre los investigadores de estar siendo enterrados en una avalancha de basura, con capacidad limitada para tamizarla. «Ha sido increíblemente desalentador para la facultad, creo que bastante universalmente, especialmente cuando el contenido falso se consagra accidentalmente en bases de datos de investigación públicas», lamenta Heiss. «Es difícil trabajar hacia atrás en la cadena de citas para ver dónde se originaron las afirmaciones».
Por supuesto, muchos ni siquiera están intentando hacerlo, razón por la cual el contenido falso se ha diseminado tan ampliamente. El resultado es un círculo vicioso donde cada referencia falsa no detectada se convierte en la semilla para más desinformación, infectando gradualmente el corpus del conocimiento académico con datos que nunca existieron.
La pregunta que queda es si las instituciones académicas tendrán la voluntad y los recursos para abordar este problema antes de que el daño se vuelva irreversible, o si continuaremos viendo cómo la «destrucción del conocimiento» profetizada por van Rooij se desarrolla ante nuestros ojos.
