OpenAI публікує звіт про ілюзію великої мовної моделі, щоб вказати на упередження поточного механізму оцінювання та запропонувати рішення. (Синопсис: Мета Цукерберг зайнята!) Дайте зарплату понад 100 мільйонів доларів США, і три генії ШІ пройшли за два місяці) (Довідкове доповнення: a16z Вийшов останній список топ-100 AI: Grok стрибає в топ-4 за один рік, а додаток Китаю проривається в глобальному масштабі) На початку цього тижня OpenAI опублікувала дослідження про феномен «галюцинації» у великих мовних моделях, вказавши, що поточні методи навчання та оцінки змушують моделей схильні «впевнено вгадувати», а не визнавати, що вони не знають, що є причиною галюцинації, і пропонувати, що робити далі? Дослідницька група OpenAI виявила, що при навчанні поточної моделі велика кількість питань для оцінювання представлена у вигляді множинних варіантів, і модель може отримувати бали до тих пір, поки вона правильно вгадує, навпаки, немає балів за відповідь «я не знаю». (Це дуже зрозуміло, так само, як якщо ви візьмете питання з кількома варіантами відповідей, навіть якщо ви не знаєте відповіді, ви будете заповнювати без розбору, принаймні у вас є шанс набрати правильно) У звіті береться тест SimpleQA як приклад для порівняння старої моделі o4-mini з новою версією gpt-5-thinking-mini: перший трохи точніший, але «частота галюцинацій» становить 75%; Хоча останні часто вирішують утриматися, рівень помилок значно знизився. OpenAI також вказала, що більшість розробників зосереджуються на покращенні загального показника точності, але ігнорують, що «впевнені помилки» впливають на користувачів набагато більше, ніж визнають невпевненість. Дослідницька група підсумувала корінь проблеми одним реченням: «Стандартні процедури навчання та оцінювання винагороджують моделі за вгадування, а не визнають обмеження, коли вони невизначені». Іншими словами, ілюзія полягає не в тому, що апаратне забезпечення моделі або шкала параметрів недостатні, а в тому, що правила підрахунку балів спонукають модель прийняти стратегію з високим ризиком. Підвищена точність все ще не може вилікувати галюцинації У звіті розбиваються п'ять поширених помилок у галузі, дві найважливіші з яких: по-перше, доки модель робиться більшою або дані подаються більше, ілюзію можна усунути; По-друге, галюцинації є неминучими побічними ефектами. За даними OpenAI: Реальний світ сповнений інформаційних прогалин, і моделі будь-якого розміру можуть зіткнутися з проблемою «розрідженості даних». Реальний ключ полягає в тому, чи має модель право вибору «утриматися». У звіті також підкреслюється, що малі моделі іноді з більшою ймовірністю виявляють прогалини у власних знаннях; До тих пір, поки критерії оцінки коригуються, частина «скромна відповідь» оцінюється, а з «впевненої помилки» знімається більше балів, а повномасштабна модель також може зменшити галюцинацію. OpenAI рекомендує галузі перейти від «правильної швидкості відповіді» до «показників надійності», таких як включення помилкової впевненості в ключових KPI, щоб зберегти консервативність моделей у невизначених сценаріях. Сценарій фінтеху: розрив у довірі посилює ризики Для Уолл-стріт та Кремнієвої долини ілюзії – це не абстрактні академічні питання, а змінні, які безпосередньо впливають на ринкові рішення. Кількісні фонди, інвестиційні банки та платформи для торгівлі криптовалютами все частіше покладаються на LLM для аналізу тексту, інтерпретації настроїв і навіть автоматизованої звітності. Якщо модель має ілюзії в деталях фінансових звітів компанії або умов контракту, помилка може бути швидко посилена алгоритмом транзакції, що призведе до величезних збитків. Тому регулятори та відділи контролю за ризиками підприємств почали звертати увагу на індекс «зразкової чесності». Ряд брокерських компаній включили «коефіцієнт невизначеності відповіді» у своє внутрішнє прийняття, що дозволило моделі заздалегідь встановлювати прибутковість у невідомих областях «потрібно більше інформації». Ця зміна означає, що навіть найефективніші рішення на основі штучного інтелекту буде важко отримати визнання на фінансових ринках, якщо вони не забезпечать позначку надійності. Далі: Перехід від змагань з високими балами до чесної інженерії Нарешті, запропонований шлях OpenAI полягає в тому, щоб переписати специфікації оцінювання: По-перше, встановити високий штраф за впевненість у собі в неправильних відповідях По-друге, поставити часткові бали за помірну невизначеність виразу По-третє, модель зобов'язана повертати перевірене джерело посилань. На думку дослідницької групи, це може змусити модель навчитися «управлінню ризиками» на етапі навчання, подібно до «збереження капіталу в першу чергу» в теорії портфеля. Для розробників це означає, що учасники будуть змагатися вже не просто з розміром моделі, а з тим, хто зможе точно визначити, коли зупинитися в рамках обмеженого бюджету на обчислення; Для інвесторів і регулюючих органів нові індикатори також забезпечують більш інтуїтивно зрозумілий якір для контролю ризиків. У міру того, як «скромність» стає новим навчанням, екосистема штучного інтелекту переходить від орієнтованої на оцінку до орієнтованої на довіру. Пов'язані звіти ETH пробиває позначку в $3600! BlackRock подає заявку на заставу з Ethereum ETF, LDO підскочив на 20% BlackRock Bitcoin ETF "IBIT" перевершує всі свої фонди, а ETF S&P 500, який у десять разів більший, також заробляє XRP, обігнавши USDT і ставши третьою за величиною криптовалютою за ринковою капіталізацією! Але 95% ліквідності знаходиться в зоні прибутку, 3 долари на довгу і коротку лінію життя і смерті Solana має лише поверхневе процвітання? Коли токен зростає лише за допомогою закулісних маніпуляцій, цикл у ланцюжку, можливо, підійшов до кінця (OpenAI пояснює, чому існує ілюзія штучного інтелекту?). Три рішення для зміни міфу про оцінку" Ця стаття була вперше опублікована в журналі BlockTempo "Dynamic Trend - The Most Influential Blockchain News Media".
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
OpenAI пояснює, чому виникають AI-галюцинації? Три рішення для зміни оцінювання міфів.
OpenAI публікує звіт про ілюзію великої мовної моделі, щоб вказати на упередження поточного механізму оцінювання та запропонувати рішення. (Синопсис: Мета Цукерберг зайнята!) Дайте зарплату понад 100 мільйонів доларів США, і три генії ШІ пройшли за два місяці) (Довідкове доповнення: a16z Вийшов останній список топ-100 AI: Grok стрибає в топ-4 за один рік, а додаток Китаю проривається в глобальному масштабі) На початку цього тижня OpenAI опублікувала дослідження про феномен «галюцинації» у великих мовних моделях, вказавши, що поточні методи навчання та оцінки змушують моделей схильні «впевнено вгадувати», а не визнавати, що вони не знають, що є причиною галюцинації, і пропонувати, що робити далі? Дослідницька група OpenAI виявила, що при навчанні поточної моделі велика кількість питань для оцінювання представлена у вигляді множинних варіантів, і модель може отримувати бали до тих пір, поки вона правильно вгадує, навпаки, немає балів за відповідь «я не знаю». (Це дуже зрозуміло, так само, як якщо ви візьмете питання з кількома варіантами відповідей, навіть якщо ви не знаєте відповіді, ви будете заповнювати без розбору, принаймні у вас є шанс набрати правильно) У звіті береться тест SimpleQA як приклад для порівняння старої моделі o4-mini з новою версією gpt-5-thinking-mini: перший трохи точніший, але «частота галюцинацій» становить 75%; Хоча останні часто вирішують утриматися, рівень помилок значно знизився. OpenAI також вказала, що більшість розробників зосереджуються на покращенні загального показника точності, але ігнорують, що «впевнені помилки» впливають на користувачів набагато більше, ніж визнають невпевненість. Дослідницька група підсумувала корінь проблеми одним реченням: «Стандартні процедури навчання та оцінювання винагороджують моделі за вгадування, а не визнають обмеження, коли вони невизначені». Іншими словами, ілюзія полягає не в тому, що апаратне забезпечення моделі або шкала параметрів недостатні, а в тому, що правила підрахунку балів спонукають модель прийняти стратегію з високим ризиком. Підвищена точність все ще не може вилікувати галюцинації У звіті розбиваються п'ять поширених помилок у галузі, дві найважливіші з яких: по-перше, доки модель робиться більшою або дані подаються більше, ілюзію можна усунути; По-друге, галюцинації є неминучими побічними ефектами. За даними OpenAI: Реальний світ сповнений інформаційних прогалин, і моделі будь-якого розміру можуть зіткнутися з проблемою «розрідженості даних». Реальний ключ полягає в тому, чи має модель право вибору «утриматися». У звіті також підкреслюється, що малі моделі іноді з більшою ймовірністю виявляють прогалини у власних знаннях; До тих пір, поки критерії оцінки коригуються, частина «скромна відповідь» оцінюється, а з «впевненої помилки» знімається більше балів, а повномасштабна модель також може зменшити галюцинацію. OpenAI рекомендує галузі перейти від «правильної швидкості відповіді» до «показників надійності», таких як включення помилкової впевненості в ключових KPI, щоб зберегти консервативність моделей у невизначених сценаріях. Сценарій фінтеху: розрив у довірі посилює ризики Для Уолл-стріт та Кремнієвої долини ілюзії – це не абстрактні академічні питання, а змінні, які безпосередньо впливають на ринкові рішення. Кількісні фонди, інвестиційні банки та платформи для торгівлі криптовалютами все частіше покладаються на LLM для аналізу тексту, інтерпретації настроїв і навіть автоматизованої звітності. Якщо модель має ілюзії в деталях фінансових звітів компанії або умов контракту, помилка може бути швидко посилена алгоритмом транзакції, що призведе до величезних збитків. Тому регулятори та відділи контролю за ризиками підприємств почали звертати увагу на індекс «зразкової чесності». Ряд брокерських компаній включили «коефіцієнт невизначеності відповіді» у своє внутрішнє прийняття, що дозволило моделі заздалегідь встановлювати прибутковість у невідомих областях «потрібно більше інформації». Ця зміна означає, що навіть найефективніші рішення на основі штучного інтелекту буде важко отримати визнання на фінансових ринках, якщо вони не забезпечать позначку надійності. Далі: Перехід від змагань з високими балами до чесної інженерії Нарешті, запропонований шлях OpenAI полягає в тому, щоб переписати специфікації оцінювання: По-перше, встановити високий штраф за впевненість у собі в неправильних відповідях По-друге, поставити часткові бали за помірну невизначеність виразу По-третє, модель зобов'язана повертати перевірене джерело посилань. На думку дослідницької групи, це може змусити модель навчитися «управлінню ризиками» на етапі навчання, подібно до «збереження капіталу в першу чергу» в теорії портфеля. Для розробників це означає, що учасники будуть змагатися вже не просто з розміром моделі, а з тим, хто зможе точно визначити, коли зупинитися в рамках обмеженого бюджету на обчислення; Для інвесторів і регулюючих органів нові індикатори також забезпечують більш інтуїтивно зрозумілий якір для контролю ризиків. У міру того, як «скромність» стає новим навчанням, екосистема штучного інтелекту переходить від орієнтованої на оцінку до орієнтованої на довіру. Пов'язані звіти ETH пробиває позначку в $3600! BlackRock подає заявку на заставу з Ethereum ETF, LDO підскочив на 20% BlackRock Bitcoin ETF "IBIT" перевершує всі свої фонди, а ETF S&P 500, який у десять разів більший, також заробляє XRP, обігнавши USDT і ставши третьою за величиною криптовалютою за ринковою капіталізацією! Але 95% ліквідності знаходиться в зоні прибутку, 3 долари на довгу і коротку лінію життя і смерті Solana має лише поверхневе процвітання? Коли токен зростає лише за допомогою закулісних маніпуляцій, цикл у ланцюжку, можливо, підійшов до кінця (OpenAI пояснює, чому існує ілюзія штучного інтелекту?). Три рішення для зміни міфу про оцінку" Ця стаття була вперше опублікована в журналі BlockTempo "Dynamic Trend - The Most Influential Blockchain News Media".