OpenAI revela la raíz de las alucinaciones de LLM y propone un nuevo método de entrenamiento para reducir errores de confianza.

【moneda】OpenAI descubrió que el fenómeno de la ilusión en los modelos de lenguaje grande se origina en sus métodos de entrenamiento y evaluación, que fomentan la conjetura en lugar de reconocer la incertidumbre. La compañía sugiere aumentar la penalización por errores confidenciales y otorgar puntos parciales por respuestas inciertas, similar a la puntuación negativa en las pruebas estandarizadas. Los datos muestran que los modelos recompensados por precisión tienen una tasa de error más alta, mientras que los modelos que reconocen la incertidumbre muestran un desempeño más confiable. OpenAI está implementando estas mejoras para reducir el fenómeno de la ilusión en su modelo más reciente.