OpenAI раскрывает истоки иллюзий LLM и предлагает новый метод обучения для уменьшения ошибок самоуверенности

【токен】OpenAI обнаружил, что феномен галлюцинаций в крупных языковых моделях происходит из-за методов их обучения и оценки, которые поощряют догадки, а не признание неопределенности. Компания предлагает увеличить наказание за уверенные ошибки и давать частичные баллы за неопределенные ответы, аналогично негативному оцениванию в стандартизированных тестах. Данные показывают, что модели, нацеленные на точность в качестве награды, имеют более высокий уровень ошибок, в то время как модели, признающие неопределенность, показывают более надежные результаты. OpenAI внедряет эти улучшения, чтобы уменьшить феномен галлюцинаций в своих последних моделях.