OpenAI lançou um relatório sobre as ilusões dos modelos de linguagem em larga escala, apontando os vieses nos mecanismos de avaliação atuais e sugerindo soluções. (Resumo: Meta, de Zuckerberg, teve trabalho em vão! Pagando mais de um bilhão de dólares, três gênios da IA saíram em dois meses) (Contexto: a16z lançou a lista das 100 principais IA: Grok subiu para o 4º lugar em um ano, e aplicações na China se destacam globalmente) OpenAI publicou, no início desta semana, um estudo sobre o fenômeno das "ilusões" nos modelos de linguagem em larga escala, apontando que os métodos de treinamento e avaliação atuais fazem com que os modelos tendam a "adivinhar com confiança" em vez de admitir que não sabem, o que é a causa das ilusões, e sugerindo os próximos passos. O cerne do relatório: a forma de avaliação empurra os modelos para a adivinhação. A equipe de pesquisa da OpenAI descobriu que, durante o treinamento atual dos modelos, uma grande quantidade de questões de avaliação é apresentada em formato de múltipla escolha, e os modelos ganham pontos se acertarem por sorte; ao contrário, responder "não sei" não traz pontos. (Isso é fácil de entender, é como em uma prova de múltipla escolha, onde mesmo que você não saiba a resposta, pode chutar e ter uma chance de acertar) O relatório usa o teste SimpleQA como exemplo, comparando o modelo antigo o4-mini com a nova versão gpt-5-thinking-mini: o primeiro tem uma precisão ligeiramente maior, mas a "taxa de ilusões" atinge 75%; o último, embora frequentemente opte por se abster, teve uma taxa de erro significativamente reduzida. A OpenAI apontou ainda que a maioria dos desenvolvedores se concentra em aumentar a taxa de acertos geral, mas ignora que "errar com confiança" impacta os usuários muito mais do que admitir incerteza. A equipe de pesquisa resume a raiz do problema em uma frase: "Os procedimentos padrão de treinamento e avaliação recompensam os modelos por adivinharem, em vez de reconhecerem limitações quando estão incertos." Em outras palavras, as ilusões não são resultado da insuficiência de hardware ou escala de parâmetros do modelo, mas sim das regras de pontuação que induzem os modelos a adotar estratégias de alto risco. O aumento da precisão ainda não resolve as ilusões. O relatório desmonta cinco mal-entendidos comuns na indústria, sendo os dois mais importantes: primeiro, que basta aumentar o tamanho do modelo ou alimentar mais dados para eliminar as ilusões; segundo, que as ilusões são um efeito colateral inevitável. A OpenAI afirma: O mundo real está cheio de lacunas de informação, e qualquer modelo, independentemente de seu tamanho, pode encontrar questões de "escassez de dados". O verdadeiro fator crucial é se o modelo tem a opção de escolher "se abster". O relatório também enfatiza que modelos menores às vezes conseguem perceber mais facilmente suas próprias lacunas de conhecimento; e que, ao ajustar os critérios de avaliação, atribuindo pontos parciais a "respostas humildes" e penalizando mais severamente "erros confiantes", modelos de tamanho total também podem reduzir as ilusões. A OpenAI sugere que a indústria mude o foco de "taxas de acerto" para "indicadores de confiabilidade", como incluir o nível de confiança nos erros como um KPI principal, para incentivar os modelos a manterem-se conservadores em situações de incerteza. Cenário de fintech: lacunas de confiança ampliam riscos Para Wall Street e Silicon Valley, as ilusões não são um tema acadêmico abstrato, mas uma variável que afeta diretamente as decisões de mercado. Fundos quantitativos, bancos de investimento e plataformas de negociação de criptomoedas estão cada vez mais dependendo de LLM para análise de textos, interpretação de sentimentos e até relatórios automáticos. Se um modelo apresentar ilusões em detalhes de relatórios financeiros ou cláusulas de contratos, conteúdos errôneos podem ser amplificados rapidamente através de algoritmos de negociação, resultando em grandes perdas. Portanto, entidades regulatórias e departamentos de gestão de riscos das empresas começaram a prestar atenção ao indicador de "honestidade do modelo". Várias corretoras já incluíram a "taxa de incerteza nas respostas" na aceitação interna, permitindo que os modelos predefinam a resposta "precisamos de mais informações" em áreas desconhecidas. Essa mudança significa que, mesmo que uma solução de IA tenha um desempenho excelente, se não puder fornecer um rótulo de confiabilidade, terá dificuldade em ser adotada pelo mercado financeiro. Próximos passos: de competições de altas pontuações para engenharia da honestidade Por fim, o caminho sugerido pela OpenAI é reescrever as especificações de avaliação: Primeiro, estabelecer penalidades altas para respostas incorretas confiantes. Segundo, dar pontos parciais para expressões moderadas de incerteza. Terceiro, exigir que os modelos retornem fontes de referência verificáveis. A equipe de pesquisa afirma que isso pode forçar os modelos a aprenderem "gestão de risco" durante a fase de treinamento, semelhante à teoria de portfólio de investimentos que prioriza "preservar o capital". Para os desenvolvedores, isso significa que os participantes não competirão mais apenas pelo tamanho do modelo, mas sim por quem consegue julgar com precisão quando é hora de parar dentro de um orçamento computacional limitado; para investidores e reguladores, novos indicadores também oferecem âncoras de gerenciamento de risco mais intuitivas. À medida que a "humildade" se torna uma nova tendência acadêmica, o ecossistema da IA está mudando de uma orientação por pontuações para uma orientação por confiança. Relatos relacionados: ETH ultrapassa 3600 USD! BlackRock submete pedido de ETF de Éter para staking, LDO sobe 20%. O ETF de Bitcoin da BlackRock "IBIT" gera mais ganhos do que todos os seus fundos, superando em dez vezes o ETF S&P 500. XRP supera USDT e se torna a terceira maior criptomoeda em capitalização de mercado! Mas 95% da oferta circulante está na zona de lucro, $3 é a linha de vida entre a alta e a baixa. Solana ainda é próspera na superfície? O aumento contemporâneo das moedas depende apenas de manipulações nos bastidores, o ciclo na cadeia pode ter chegado ao fim. <OpenAI explica por que as ilusões da IA ocorrem? Três soluções para mudar o pensamento de avaliação> Este artigo foi publicado pela primeira vez na BlockTempo, a mídia de notícias de blockchain mais influente.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
OpenAI explica por que existem alucinações de IA? Três soluções para mudar o mito da avaliação.
OpenAI lançou um relatório sobre as ilusões dos modelos de linguagem em larga escala, apontando os vieses nos mecanismos de avaliação atuais e sugerindo soluções. (Resumo: Meta, de Zuckerberg, teve trabalho em vão! Pagando mais de um bilhão de dólares, três gênios da IA saíram em dois meses) (Contexto: a16z lançou a lista das 100 principais IA: Grok subiu para o 4º lugar em um ano, e aplicações na China se destacam globalmente) OpenAI publicou, no início desta semana, um estudo sobre o fenômeno das "ilusões" nos modelos de linguagem em larga escala, apontando que os métodos de treinamento e avaliação atuais fazem com que os modelos tendam a "adivinhar com confiança" em vez de admitir que não sabem, o que é a causa das ilusões, e sugerindo os próximos passos. O cerne do relatório: a forma de avaliação empurra os modelos para a adivinhação. A equipe de pesquisa da OpenAI descobriu que, durante o treinamento atual dos modelos, uma grande quantidade de questões de avaliação é apresentada em formato de múltipla escolha, e os modelos ganham pontos se acertarem por sorte; ao contrário, responder "não sei" não traz pontos. (Isso é fácil de entender, é como em uma prova de múltipla escolha, onde mesmo que você não saiba a resposta, pode chutar e ter uma chance de acertar) O relatório usa o teste SimpleQA como exemplo, comparando o modelo antigo o4-mini com a nova versão gpt-5-thinking-mini: o primeiro tem uma precisão ligeiramente maior, mas a "taxa de ilusões" atinge 75%; o último, embora frequentemente opte por se abster, teve uma taxa de erro significativamente reduzida. A OpenAI apontou ainda que a maioria dos desenvolvedores se concentra em aumentar a taxa de acertos geral, mas ignora que "errar com confiança" impacta os usuários muito mais do que admitir incerteza. A equipe de pesquisa resume a raiz do problema em uma frase: "Os procedimentos padrão de treinamento e avaliação recompensam os modelos por adivinharem, em vez de reconhecerem limitações quando estão incertos." Em outras palavras, as ilusões não são resultado da insuficiência de hardware ou escala de parâmetros do modelo, mas sim das regras de pontuação que induzem os modelos a adotar estratégias de alto risco. O aumento da precisão ainda não resolve as ilusões. O relatório desmonta cinco mal-entendidos comuns na indústria, sendo os dois mais importantes: primeiro, que basta aumentar o tamanho do modelo ou alimentar mais dados para eliminar as ilusões; segundo, que as ilusões são um efeito colateral inevitável. A OpenAI afirma: O mundo real está cheio de lacunas de informação, e qualquer modelo, independentemente de seu tamanho, pode encontrar questões de "escassez de dados". O verdadeiro fator crucial é se o modelo tem a opção de escolher "se abster". O relatório também enfatiza que modelos menores às vezes conseguem perceber mais facilmente suas próprias lacunas de conhecimento; e que, ao ajustar os critérios de avaliação, atribuindo pontos parciais a "respostas humildes" e penalizando mais severamente "erros confiantes", modelos de tamanho total também podem reduzir as ilusões. A OpenAI sugere que a indústria mude o foco de "taxas de acerto" para "indicadores de confiabilidade", como incluir o nível de confiança nos erros como um KPI principal, para incentivar os modelos a manterem-se conservadores em situações de incerteza. Cenário de fintech: lacunas de confiança ampliam riscos Para Wall Street e Silicon Valley, as ilusões não são um tema acadêmico abstrato, mas uma variável que afeta diretamente as decisões de mercado. Fundos quantitativos, bancos de investimento e plataformas de negociação de criptomoedas estão cada vez mais dependendo de LLM para análise de textos, interpretação de sentimentos e até relatórios automáticos. Se um modelo apresentar ilusões em detalhes de relatórios financeiros ou cláusulas de contratos, conteúdos errôneos podem ser amplificados rapidamente através de algoritmos de negociação, resultando em grandes perdas. Portanto, entidades regulatórias e departamentos de gestão de riscos das empresas começaram a prestar atenção ao indicador de "honestidade do modelo". Várias corretoras já incluíram a "taxa de incerteza nas respostas" na aceitação interna, permitindo que os modelos predefinam a resposta "precisamos de mais informações" em áreas desconhecidas. Essa mudança significa que, mesmo que uma solução de IA tenha um desempenho excelente, se não puder fornecer um rótulo de confiabilidade, terá dificuldade em ser adotada pelo mercado financeiro. Próximos passos: de competições de altas pontuações para engenharia da honestidade Por fim, o caminho sugerido pela OpenAI é reescrever as especificações de avaliação: Primeiro, estabelecer penalidades altas para respostas incorretas confiantes. Segundo, dar pontos parciais para expressões moderadas de incerteza. Terceiro, exigir que os modelos retornem fontes de referência verificáveis. A equipe de pesquisa afirma que isso pode forçar os modelos a aprenderem "gestão de risco" durante a fase de treinamento, semelhante à teoria de portfólio de investimentos que prioriza "preservar o capital". Para os desenvolvedores, isso significa que os participantes não competirão mais apenas pelo tamanho do modelo, mas sim por quem consegue julgar com precisão quando é hora de parar dentro de um orçamento computacional limitado; para investidores e reguladores, novos indicadores também oferecem âncoras de gerenciamento de risco mais intuitivas. À medida que a "humildade" se torna uma nova tendência acadêmica, o ecossistema da IA está mudando de uma orientação por pontuações para uma orientação por confiança. Relatos relacionados: ETH ultrapassa 3600 USD! BlackRock submete pedido de ETF de Éter para staking, LDO sobe 20%. O ETF de Bitcoin da BlackRock "IBIT" gera mais ganhos do que todos os seus fundos, superando em dez vezes o ETF S&P 500. XRP supera USDT e se torna a terceira maior criptomoeda em capitalização de mercado! Mas 95% da oferta circulante está na zona de lucro, $3 é a linha de vida entre a alta e a baixa. Solana ainda é próspera na superfície? O aumento contemporâneo das moedas depende apenas de manipulações nos bastidores, o ciclo na cadeia pode ter chegado ao fim. <OpenAI explica por que as ilusões da IA ocorrem? Três soluções para mudar o pensamento de avaliação> Este artigo foi publicado pela primeira vez na BlockTempo, a mídia de notícias de blockchain mais influente.