OpenAI публикует большой отчет об иллюзиях языковой модели, чтобы указать на предубеждения текущего механизма оценки и предложить решения. (Синопсис: Мета Цукерберг занят!) Дайте зарплату в размере более 100 миллионов долларов США, и три гения ИИ прошли за два месяца) (Справочное приложение: a16z Опубликован последний список топ-100 ИИ: Грок прыгает в топ-4 за один год, а китайское приложение прорывается по всему миру) Ранее на этой неделе OpenAI опубликовала исследование о феномене «галлюцинаций» в больших языковых моделях, указав, что современные методы обучения и оценки заставляют модели «уверенно догадываться», а не признавать, что они не знают, что является причиной галлюцинаций, и предлагать, что делать дальше? Исследовательская группа OpenAI обнаружила, что при обучении текущей модели большое количество оценочных вопросов представляется в виде множественных вариантов ответа, и модель может получить баллы до тех пор, пока правильно угадывает, наоборот, баллов за ответ «Я не знаю» нет. (Это очень понятно, так же, как если вы берете вопросы с несколькими вариантами ответов, даже если вы не знаете ответа, вы будете заполнять без разбора, по крайней мере, у вас есть шанс правильно напечатать) В отчете в качестве примера используется тест SimpleQA для сравнения старой модели o4-mini с новой версией gpt-5-thinking-mini: первая немного точнее, но «частота галлюцинаций» составляет 75%; Хотя последние часто предпочитают воздерживаться, процент ошибок значительно снизился. OpenAI также отметил, что большинство разработчиков сосредоточены на повышении общего показателя точности, но игнорируют тот факт, что «уверенные ошибки» влияют на пользователей гораздо больше, чем признание неопределенности. Исследовательская группа подытожила корень проблемы в одном предложении: «Стандартные процедуры обучения и оценки вознаграждают модели за угадывание, а не за признание ограничений, когда они неопределенны». Другими словами, иллюзия заключается не в том, что аппаратное обеспечение модели или масштаб параметров недостаточны, а в том, что правила подсчета баллов побуждают модель принять стратегию с высоким риском. В отчете разбиваются пять распространенных заблуждений в отрасли, два наиболее важных из которых следующие: во-первых, если модель увеличивается или данные подаются в большее количество, иллюзию можно устранить; Во-вторых, галлюцинации являются неизбежными побочными эффектами. Согласно OpenAI: Реальный мир полон информационных пробелов, и модели любого размера могут столкнуться с проблемой «разреженности данных». Реальный ключ заключается в том, имеет ли модель право выбора «воздержаться». В отчете также подчеркивается, что небольшие модели иногда с большей вероятностью обнаруживают пробелы в собственных знаниях; До тех пор, пока критерии оценки корректируются, часть «скромного ответа» получает баллы, а «уверенная ошибка» вычитается больше баллов, и полномасштабная модель также может уменьшить галлюцинацию. OpenAI рекомендует отрасли перейти от «правильной частоты ответов» к «показателям надежности», таким как включение ложной уверенности в ключевых KPI, чтобы сохранить консервативность моделей в неопределенных сценариях. Сценарий финтеха: разрыв доверия увеличивает риск для Уолл-стрит и Кремниевой долины иллюзии — это не абстрактные академические вопросы, а переменные, которые напрямую влияют на рыночные решения. Количественные фонды, инвестиционные банки и платформы для торговли криптовалютой все чаще полагаются на LLM для анализа текста, интерпретации настроений и даже автоматической отчетности. Если модель питает иллюзии относительно деталей финансовой отчетности компании или условий контракта, ошибка может быть быстро усилена алгоритмом транзакции, что приведет к огромным убыткам. Поэтому регуляторы и отделы контроля рисков предприятий стали обращать внимание на индекс «честности модели». Ряд брокерских компаний включили «уровень неопределенности ответа» в свое внутреннее принятие, что позволяет модели предустанавливать доходность в неизвестных областях «требуется больше информации». Это изменение означает, что даже самые эффективные решения на основе искусственного интеллекта будут трудно получить на финансовых рынках, если они не будут обеспечивать маркировку доверия. Далее: Переход от конкуренции с высокими баллами к честной инженерии Наконец, OpenAI предлагает переписать спецификации оценки: во-первых, установить высокий штраф за самоуверенность в неправильных ответах Во-вторых, дать частичные баллы за умеренную неопределенность выражения В-третьих, модель должна возвращать верифицируемый ссылочный источник. По мнению исследовательской группы, это может заставить модель учиться «управлению рисками» на этапе обучения, подобно «сохранению капитала в первую очередь» в теории портфеля. Для разработчиков это означает, что участники уже будут соревноваться не просто с размером модели, а с тем, кто сможет точно определить, когда стоит остановиться в рамках ограниченного вычислительного бюджета; Для инвесторов и регулирующих органов новые индикаторы также обеспечивают более интуитивно понятный якорь для контроля рисков. По мере того, как «смирение» становится новым обучением, экосистема ИИ переходит от ориентированной на оценку к доверию. Похожие отчеты: ETH пробил отметку в $3600! BlackRock подает заявку на залог с Ethereum ETF, LDO подскочил на 20% BlackRock Bitcoin ETF «IBIT» превосходит все свои средства, а ETF S&P 500, который в десять раз больше, также зарабатывает XRP, обогнав USDT и став третьей по величине криптовалютой по рыночной капитализации! Но 95% ликвидности находится в зоне прибыли, 3 доллара в длинную и короткую линию жизни и смерти У Solana есть только поверхностное благополучие? Когда токен растет только за счет закулисных манипуляций, ончейн-цикл, возможно, подошел к концу (OpenAI объясняет, почему существует иллюзия ИИ?). Три решения для изменения мифа об оценке» Эта статья была впервые опубликована в журнале BlockTempo «Динамический тренд — самое влиятельное новостное СМИ о блокчейне».
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
OpenAI объясняет, почему существуют AI-галлюцинации? Три решения для изменения оценки мифов.
OpenAI публикует большой отчет об иллюзиях языковой модели, чтобы указать на предубеждения текущего механизма оценки и предложить решения. (Синопсис: Мета Цукерберг занят!) Дайте зарплату в размере более 100 миллионов долларов США, и три гения ИИ прошли за два месяца) (Справочное приложение: a16z Опубликован последний список топ-100 ИИ: Грок прыгает в топ-4 за один год, а китайское приложение прорывается по всему миру) Ранее на этой неделе OpenAI опубликовала исследование о феномене «галлюцинаций» в больших языковых моделях, указав, что современные методы обучения и оценки заставляют модели «уверенно догадываться», а не признавать, что они не знают, что является причиной галлюцинаций, и предлагать, что делать дальше? Исследовательская группа OpenAI обнаружила, что при обучении текущей модели большое количество оценочных вопросов представляется в виде множественных вариантов ответа, и модель может получить баллы до тех пор, пока правильно угадывает, наоборот, баллов за ответ «Я не знаю» нет. (Это очень понятно, так же, как если вы берете вопросы с несколькими вариантами ответов, даже если вы не знаете ответа, вы будете заполнять без разбора, по крайней мере, у вас есть шанс правильно напечатать) В отчете в качестве примера используется тест SimpleQA для сравнения старой модели o4-mini с новой версией gpt-5-thinking-mini: первая немного точнее, но «частота галлюцинаций» составляет 75%; Хотя последние часто предпочитают воздерживаться, процент ошибок значительно снизился. OpenAI также отметил, что большинство разработчиков сосредоточены на повышении общего показателя точности, но игнорируют тот факт, что «уверенные ошибки» влияют на пользователей гораздо больше, чем признание неопределенности. Исследовательская группа подытожила корень проблемы в одном предложении: «Стандартные процедуры обучения и оценки вознаграждают модели за угадывание, а не за признание ограничений, когда они неопределенны». Другими словами, иллюзия заключается не в том, что аппаратное обеспечение модели или масштаб параметров недостаточны, а в том, что правила подсчета баллов побуждают модель принять стратегию с высоким риском. В отчете разбиваются пять распространенных заблуждений в отрасли, два наиболее важных из которых следующие: во-первых, если модель увеличивается или данные подаются в большее количество, иллюзию можно устранить; Во-вторых, галлюцинации являются неизбежными побочными эффектами. Согласно OpenAI: Реальный мир полон информационных пробелов, и модели любого размера могут столкнуться с проблемой «разреженности данных». Реальный ключ заключается в том, имеет ли модель право выбора «воздержаться». В отчете также подчеркивается, что небольшие модели иногда с большей вероятностью обнаруживают пробелы в собственных знаниях; До тех пор, пока критерии оценки корректируются, часть «скромного ответа» получает баллы, а «уверенная ошибка» вычитается больше баллов, и полномасштабная модель также может уменьшить галлюцинацию. OpenAI рекомендует отрасли перейти от «правильной частоты ответов» к «показателям надежности», таким как включение ложной уверенности в ключевых KPI, чтобы сохранить консервативность моделей в неопределенных сценариях. Сценарий финтеха: разрыв доверия увеличивает риск для Уолл-стрит и Кремниевой долины иллюзии — это не абстрактные академические вопросы, а переменные, которые напрямую влияют на рыночные решения. Количественные фонды, инвестиционные банки и платформы для торговли криптовалютой все чаще полагаются на LLM для анализа текста, интерпретации настроений и даже автоматической отчетности. Если модель питает иллюзии относительно деталей финансовой отчетности компании или условий контракта, ошибка может быть быстро усилена алгоритмом транзакции, что приведет к огромным убыткам. Поэтому регуляторы и отделы контроля рисков предприятий стали обращать внимание на индекс «честности модели». Ряд брокерских компаний включили «уровень неопределенности ответа» в свое внутреннее принятие, что позволяет модели предустанавливать доходность в неизвестных областях «требуется больше информации». Это изменение означает, что даже самые эффективные решения на основе искусственного интеллекта будут трудно получить на финансовых рынках, если они не будут обеспечивать маркировку доверия. Далее: Переход от конкуренции с высокими баллами к честной инженерии Наконец, OpenAI предлагает переписать спецификации оценки: во-первых, установить высокий штраф за самоуверенность в неправильных ответах Во-вторых, дать частичные баллы за умеренную неопределенность выражения В-третьих, модель должна возвращать верифицируемый ссылочный источник. По мнению исследовательской группы, это может заставить модель учиться «управлению рисками» на этапе обучения, подобно «сохранению капитала в первую очередь» в теории портфеля. Для разработчиков это означает, что участники уже будут соревноваться не просто с размером модели, а с тем, кто сможет точно определить, когда стоит остановиться в рамках ограниченного вычислительного бюджета; Для инвесторов и регулирующих органов новые индикаторы также обеспечивают более интуитивно понятный якорь для контроля рисков. По мере того, как «смирение» становится новым обучением, экосистема ИИ переходит от ориентированной на оценку к доверию. Похожие отчеты: ETH пробил отметку в $3600! BlackRock подает заявку на залог с Ethereum ETF, LDO подскочил на 20% BlackRock Bitcoin ETF «IBIT» превосходит все свои средства, а ETF S&P 500, который в десять раз больше, также зарабатывает XRP, обогнав USDT и став третьей по величине криптовалютой по рыночной капитализации! Но 95% ликвидности находится в зоне прибыли, 3 доллара в длинную и короткую линию жизни и смерти У Solana есть только поверхностное благополучие? Когда токен растет только за счет закулисных манипуляций, ончейн-цикл, возможно, подошел к концу (OpenAI объясняет, почему существует иллюзия ИИ?). Три решения для изменения мифа об оценке» Эта статья была впервые опубликована в журнале BlockTempo «Динамический тренд — самое влиятельное новостное СМИ о блокчейне».