En el mundo de la inteligencia artificial, el término «alucinación» se refiere a cuando los modelos generan respuestas que suenan bien pero son incorrectas. Esto es un problema serio para la fiabilidad de la IA, y según OpenAI, tiene que ver con cómo entrenamos y evaluamos estos modelos.

Los modelos de lenguaje están diseñados para ser «buenos en exámenes», lo que significa que, cuando no saben algo, prefieren adivinar antes que admitir ignorancia. Este sistema de evaluación premia las respuestas correctas y penaliza tanto los errores como las abstenciones, lo que lleva a alucinaciones.

OpenAI señala que incluso con datos de entrenamiento perfectos, los modelos seguirán generando errores debido a los objetivos de optimización. Y lo que es peor, los sistemas de evaluación actuales incentivan conjeturas en lugar de premiar la incertidumbre honesta.

La solución, dice OpenAI, es cambiar cómo evaluamos estos modelos. Deberíamos penalizar más los errores hechos con exceso de confianza y dar crédito a las respuestas que expresan incertidumbre. Esto podría llevar a modelos de lenguaje más fiables y menos propensos a alucinar.

El desafío es práctico: los benchmarks influyentes no permiten respuestas del tipo «no lo sé», y las conjeturas siguen siendo premiadas. Si queremos avanzar hacia una IA más fiable, necesitamos una revisión profunda de cómo evaluamos estos sistemas.

Aunque se han hecho avances en técnicas para reducir las alucinaciones, el problema persiste. OpenAI advierte que solo un cambio en los criterios de evaluación permitirá el desarrollo de modelos verdaderamente fiables. Y en este mundo donde la precisión es clave, parece que tenemos un largo camino por recorrer.