La Odisea del Pelentrenque: Las alucinaciones de la IA
El pelentrenque es un marsupial del monte Peleé… o, tal vez no. Puede que en realidad sea un reptil ágil de las Canarias, a quien también llaman “perenquén”.O quizás se trata de “una especie de mamífero carnívoro arborícola asiático” sobre el cual “no hay un consenso entre los científicos”. Puede también que sea el nombre mal escrito del chita (?), o acaso sea un “artrópodo y no un mamífero”.
Este abanico de descripciones del “pelentrenque” fue producida por varios chatbots basados en Modelos Grandes de Lenguaje (LLM por sus siglas en inglés), una de las expresiones más conocidas de lo que se conoce como “Inteligencia Artificial”. Cabe aclarar que -hasta donde sé- “pelentrenque” es una palabra sin sentido que surgió por inspiración de Nicolino Roche, aquel personaje creado por Pedro Saborido y Diego Capusotto que profería aleatoriamente palabras o sonidos sin sentido en medio de sus oraciones a causa del consumo excesivo de Rohypnol y otras pastillas .
Estas respuestas forman parte de un fenómeno común en los LLMs y en las IA generativas en general: las alucinaciones.
¿Qué son las alucinaciones? No hay una definición única universalmente aceptada (hablamos en el contexto de la Inteligencia Artificial, claro). Podemos decir que se trata de respuestas producidas por las IA que son fácticamente incorrectas, inconsistentes lógicamente o directamente fabricadas (como en el caso del pelentrenque), como lo resume Karpowicz.
Un problema con esa definición informal es que la corrección fáctica no es algo que se pueda determinar ni de manera fácil ni unívoca en muchos casos. Por ejemplo, la respuesta a cuál es el mejor futbolista de la historia podría ser considerada acertada por algunas personas y rechazada por otras. Esa ambigüedad es un aspecto crucial a la hora de pensar las consecuencias de la aplicación de IA en diferentes ámbitos.
Para acercarnos al tema, vamos a mirar primero las distintas causas que llevan a que una IA alucine, para luego referirnos a algunos riesgos que traen consigo, no sólo a futuro sino ya mismo.
Alucinógenos para IAs
En el caso del pelentrenque, la utilización de la palabra inexistente no fue casual: se buscaba intencionalmente que los chatbots respondieran textos siempre diferentes, para lo cual se enviaron “prompts” con esta palabra -entre otras estrategias- teniendo en mente un trabajo de Yao, Ning y otros (J.-Y. Yao et al., 2023) en el que muestran cómo las indicaciones (prompts) semánticamente débiles alientan las respuestas falsas de los LLMs.
El fondo del tema es que en realidad los LLMs no comprenden de qué hablan: en palabras de Sebastian Raschka (Raschka, 2024), son capaces de procesar y generar texto de maneras que parecen coherentes y contextualmente relevantes, pero no poseen conciencia o comprensión comparable a los seres humanos.
El trabajo de Yao mencionado más arriba, comienza su título con unas palabras más que sugerentes: “LLM miente: las alucinaciones no son errores sino características…”. Más aún: en la tercera página los autores demuestran que se puede producir cualquier alucinación a través de prompts “perturbados” (construidos específicamente para hacerlos alucinar).
Pero los prompts mutilados no son las únicas causas por las que los LLMs alucinan. Las IA pueden proferir disparates porque sus datos de entrenamiento las condicionan, porque “no saben callarse”, porque las indicaciones (prompts) que les dan son incompletas, tendenciosas, demasiado abiertas, o incluyen fallas de diversos tipos.
Los errores y sesgos en los datos de entrenamiento constituyen un factor esencial para la generación de desvaríos. Estos sistemas se caracterizan precisamente por utilizar una cantidad enorme de material a partir del cual “aprende” a generar sus respuestas. Este problema fue señalado por Bender y otros (Bender et al., 2021) en una publicación muy famosa, que dio pie a la aún más famosa carta (Future Of Life, 2023) cuasi-apocalíptica firmada por CEOS, empresarios e ingenieros de renombre.
Pero ¿quién puede asegurar que los datos de entrenamiento son correctos?
En tiempos en los que algunas personas pretenden zanjar discusiones consultando a un chatbot (ChatGPT, DeepSeek, Grok u otros), es crucial entender que los LLM alucinan y siempre lo harán, al menos mientras los “transformadores” y las redes neuronales artificiales sigan siendo las bases de estas tecnologías. Pero, sobre todo, sus respuestas van a estar condicionadas por los datos de entrenamiento, cargando con los prejuicios, los sesgos, los puntos de vista, que se expresen con mayor frecuencia en esos datos.
Peligro: IA
Las IA se extienden rápidamente en los ámbitos más disímiles, incluyendo educación, seguridad, justicia, salud, gobierno.
Si esas IA de vez en cuando alucinan (aunque sea pocas veces, aunque sea algo relativamente raro), desconocer esa característica implica desatender riesgos que pueden ser verdaderamente graves. Peor aún: ignorar quién proporciona los datos de entrenamiento, cuáles son esos datos, qué debilidades pueden tener y qué intereses persiguen los “propietarios” de un LLM, son caminos directos a obtener resultados negativos, completamente erróneos o adecuados a criterios de “verdad” que nos resulten ajenas e incluso hostiles.
Michael Karpowicz (Karpowicz, 2025), investigador de Samsung, demostró que las alucinaciones no son un mero resultado de decisiones teóricas o de ingeniería específicas, sino que constituyen una característica matemáticamente inevitable. Sourav Banerjee (Banerjee et al., 2024) fue un poco más lejos, señalando que las alucinaciones son inherentes a estos modelos y son inevitables; esto se debe a la incompletitud de los datos (no pueden tener todos los datos de todo), el desconocimiento previo de los LLM de qué es lo que va a responder y cuándo dar por terminada su respuesta, e incluso la imposibilidad de completitud y consistencia, heredados del teorema de incompletitud de Gödel.
Una mirada “optimista” (Suzuki et al., 2025) señala que las alucinaciones no pueden eliminarse, pero sí hacerse estadísticamente irrelevantes hasta cualquier nivel arbitrario. El trabajo objeta que los anteriores son abstractos, aunque su enfoque se mantiene en un registro similar, ya que la des-alucinacionización se conseguiría con suficientes datos correctos y el algoritmo adecuado… algo de cuya factibilidad no se ocupa.
Cabe preguntarse hasta dónde es posible contar con datos equilibrados, correctos, sin sesgos y completos. Quienes seleccionan o recopilan los datos no son entidades carentes de intereses: son sobre todo grandes monopolios. Es difícil, de mínima, pensar que Microsoft -por ejemplo- no va a tomar algún tipo de medidas para dificultar que su propio producto lo cuestione severamente, o que los datos de entrenamiento son absolutamente ecuánimes en cuanto a las virtudes y defectos de sus productos (Buyl et al., 2024).
La persistencia de las alucinaciones
Las alucinaciones en casos reales siguen existiendo, constituyendo un tema necesario de abordar. En el ámbito legal, aparece como citas de trabajos inexistentes (a veces asignados a autores reales, lo que complica la detección); o ponderando de manera errónea la jurisprudencia en que se basan. Magesh y otros (Magesh et al., 2025), Lidsky y otros (Lidsky & Daves, 2025), mostraron que las herramientas basadas en IA podían alucinar en varios aspectos, no adecuándose al correcto razonamiento jurídico, apelando a autoridades o legislación no aplicable, o tomando como referencia a fuentes que no son las más relevantes para un caso en concreto.
Las consecuencias ya pueden verse en muchos lugares. Sin ir más lejos (ni en distancia ni en tiempo), en octubre último la Cámara en lo Penal de Esquel anuló un fallo por el uso indebido de la Inteligencia Artificial por parte de un juez.
En la creación de código (Haque et al., 2025) de computadoras, se manifiesta en codificación insegura (repitiendo fallas de seguridad conocidas, por ejemplo), funciones que intentan utilizar equivocadamente bibliotecas (libraries) que no corresponden o no funcionan correctamente con el resto del software, o en la inclusión de código directamente irrelevante
En el ámbito de la salud, Apoorva Muley y otros (Muley et al., 2023) realizaron en 2023 una revisión sistemática de investigaciones referidas a los riesgos de la IA . Partiendo de los 39 trabajos relevados,observaron 3 áreas principales: riesgos de datos clínicos, debidos a errores de la IA; riesgos técnicos, que incluyes los derivados del uso incorrecto de las herramientas, los que surgen por los sesgos de los datos de entrenamiento, o cuestiones relativas a la privacidad; y aspectos socio éticos, como la falta de transparencia sobre cómo funcionan o qué datos usan, y la poca claridad en cuanto a las responsabilidades de su uso (si algo sale mal, ¿es por el algoritmo? ¿por cómo se usó? ).
Más recientemente, la aparición de modelos “razonadores” como O-1, DeepSeek R1, y otros (que siguen cadenas de pensamiento antes de emitir su respuesta) logró que este tipo de modelos obtuviera mejores resultados en muchos problemas formales con los que modelos previos alucinaban fácilmente. Sin embargo, fuera de ese dominio específico, hay indicios de que los nuevos modelos alucinan aún más que antes (véase Yao y otros (Z. Yao et al., 2025), o el artículo de Maxwell Zeff para TechCrunch.
En definitiva, es muy arriesgado dejar decisiones importantes en manos de ChatBots u otras aplicaciones basadas en Modelos Grandes de Lenguaje. No existe duda razonable al respecto, parafraseando el lenguaje jurídico.
A pesar de ello, vemos a diario iniciativas que pretenden reemplazar labores que hoy realizan seres humanos por sistemas basados en IA. Hubo anuncios relacionados con la redacción o la revisión de leyes, la evaluación de alumnxs y docentes, o la “predicción” de la posible comisión de delitos. Hay IAs que conducen vehículos, incluso drones de guerra, “identifican” personas para su detención, u ofrecen lecturas pre masticadas de trabajos científicos.
Si semejante colonización de las IA termina produciendo desajustes y hasta desastres, no será por las limitaciones propias de las IA sino por quienes la adoptan acríticamente, muchas veces bajo el impulso del factor preponderante en la consideración de muchos actores de poder: bajar los costos.
Referencias
Banerjee, S., Agarwal, A., & Singla, S. (2024). Llms will always hallucinate, and we need to live with this. arXiv preprint arXiv:2409.05746.
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, 610-623.
Buyl, M., Rogiers, A., Noels, S., Bied, G., Dominguez-Catena, I., Heiter, E., Johary, I., Mara, A.-C., Romero, R., Lijffijt, J., & others. (2024). Large language models reflect the ideology of their creators. arXiv preprint arXiv:2410.18417.
Future Of Life, F. O. (2023). Pause giant AI experiments: An open letter. Future of Life Institution. https://futureoflife. org/open-letter/pause-giant-ai-experiments.
Haque, A., Siddique, S., Rahman, M. M., Hasan, A. R., Das, L. R., Kamal, M., Masura, T., & Gupta, K. D. (2025). SOK: Exploring Hallucinations and Security Risks in AI-Assisted Software Development with Insights for LLM Deployment. arXiv preprint arXiv:2502.18468.
Karpowicz, M. (2025). On the Fundamental Impossibility of Hallucination Control in Large Language Models. arXiv preprint arXiv:2506.06382.
Lidsky, L. B., & Daves, A. (2025). Inevitable Errors: Defamation by Hallucination in AI Reasoning Models (forthcoming in the Journal of Free Speech Law 2025). Available at SSRN 5362314.
Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216-242.
Muley, A., Muzumdar, P., Kurian, G., & Basyal, G. P. (2023). Risk of AI in healthcare: A comprehensive literature review and study framework. arXiv preprint arXiv:2309.14530.
Raschka, S. (2024). Build a large language model (from scratch). Manning.
Suzuki, A., He, Y., Tian, F., & Wang, Z. (2025). Hallucinations are inevitable but can be made statistically negligible. The” innate” inevitability of hallucinations cannot explain practical LLM issues. arXiv preprint arXiv:2502.12187.
Yao, J.-Y., Ning, K.-P., Liu, Z.-H., Ning, M.-N., Liu, Y.-Y., & Yuan, L. (2023). Llm lies: Hallucinations are not bugs, but features as adversarial examples. arXiv preprint arXiv:2310.01469.
Yao, Z., Liu, Y., Chen, Y., Chen, J., Fang, J., Hou, L., Li, J., & Chua, T.-S. (2025). Are Reasoning Models More Prone to Hallucination? arXiv preprint arXiv:2505.23646.
