OpenAI revela a origem das alucinações LLM e propõe um novo método de treino para reduzir erros de confiança.

【moeda】OpenAI descobriu que o fenômeno de alucinação em grandes modelos de linguagem se origina de seus métodos de treinamento e avaliação, que incentivam suposições em vez de reconhecer a incerteza. A empresa sugere aumentar a penalização por erros de confiança (confidential error) e atribuir pontos parciais a respostas incertas, semelhante à pontuação negativa em testes padronizados. Os dados mostram que modelos recompensados pela precisão têm uma taxa de erro mais alta, enquanto modelos que reconhecem a incerteza apresentam um desempenho mais confiável. A OpenAI está implementando essas melhorias para reduzir o fenômeno de alucinação em seu modelo mais recente.