Як найшвидкіше зростаюча високотехнологічна технологія в історії людства, великі моделі привертають увагу кожного. Веб3, який був лише вчора, все більше стикається з правовими викликами. Але як абсолютно різні технології, між ними немає заміни. Відповідальна особа за "AI+Crypto Studio" на острові Всіх Речей - містер Тян Хонгфей, обговорить з вами проблеми, з якими стикається у розробці великих моделей та як компанії у галузі веб3 зобов'язані вирішувати ці проблеми.

Великі проблеми в галузі великого моделювання та як їх вирішити, використовуючи Web3

Як ми всі знаємо, індустрія Інтернету увійшла у стадію олігополії після 2015 року, і країни по всьому світу проводили антимонопольні рецензії платформених компаній. Поява великих моделей подальше посилює монопольне становище олігополій. Великі моделі включають алгоритми, обчислювальну потужність та дані:

• У галузі алгоритмів, хоча існує певний монополізм, алгоритми можуть залишатися в основному відкритими завдяки силам відкритого джерела та конкуренції дослідницьких університетів, а також недовіри людей до олігархів;
• З погляду обчислювальної потужності, через надзвичайно високу вартість навчання великих моделей обчислювальну потужність можуть дозволити собі лише великі підприємства, тому це в суті призводить до того, що виробництво алгоритмів повністю контролюється великими підприємствами;
• Щодо даних, під час навчання великих моделей надійшли на публічні дані, публічні дані незабаром будуть вичерпані на основі зростання параметрів великих моделей, тому подальший ріст великих моделей ґрунтується на приватних даних. Хоча абсолютна кількість даних, які належать великому числу малих підприємств, величезна, їх важко використовувати в ізоляції, тому великі підприємства все ще мають монополію на дані.

В результаті ера Великої Моделі сьогодні більш централізована, ніж будь-коли раніше, і ймовірно, світ майбутнього буде контролюватися кількома або навіть одним комп'ютером. (Навіть у децентралізованому світі Web3, запропонований Віталіком Кінцевий Гра для Ethereum буде запущений гігантським позаблоковим механізмом.)

Крім того, компанія OpenAI, яка розробила ChatGPT, має лише більше 20 основних співробітників. У зв'язку з різними причинами алгоритм ChatGPT досі не був відкритий для загального використання. Оригінальний неприбутковий характер підприємства був змінений на обмежений прибуток. Оскільки різноманітні застосунки, які покладаються на ChatGPT, змінили життя людини, деякі модифікації моделі ChatGPT матимуть великий вплив на людей. Порівняно з принципом Google не робити зло, ChatGPT має глибший вплив на людей.

Таким чином, обчислювальна вірогідність моделі стане важливою проблемою. Хоча OpenAI може працювати як неприбуткова організація, контроль над владою кількох людей все ще матиме багато негативних наслідків. (Наприклад, хоча Ефіріум Енд Гейм, запропонований Віталіком, створений машиною, він буде зберігати прозорість завдяки дуже простій перевірці громадськістю.)

У той же час у великій модельній галузі все ще існують проблеми: нестача обчислювальної потужності, доступні навчальні дані майже закінчилися, та спільне використання моделі. За статистикою до 2021 року проблемою в галузі штучного інтелекту було відсутність даних, і всі компанії, які займаються глибоким навчанням, шукали дані в вертикальних галузях; після великих моделей нестача обчислювальної потужності стає перешкодою.

Розробка великої моделі поділяється на кілька етапів: збір даних, попередня обробка даних, навчання моделі, налаштування моделі та запит на розгортання висновків. З цих етапів давайте коротко описати внесок блокчейну у великі моделі та способи боротьби з шкодою від надмірної концентрації великих моделей.

• У плані даних, оскільки публічні дані будуть використані після 2030 року, потрібно використовувати більше цінних та більших обсягів приватних даних, захищаючи приватність за допомогою технології блокчейн;
• У сфері анотування даних токени можуть використовуватись для стимулювання більш масштабного анотування та верифікації даних;
• На етапі навчання моделі обчислювальна потужність обмінюється за допомогою обміну моделями та спільного навчання;
• Під час фази налаштування моделі участь спільноти може бути стимульована через токени;
• У фазі запиту користувача та обчислення міркувань блокчейн може захищати конфіденційність даних користувача.

Зокрема:

1) Рідкісна обчислювальна потужність

Обчислювальна потужність є необхідним виробничим фактором для великих моделей, і сьогодні вона є найдорожчим виробничим фактором, настільки, що стартапи, які тільки що залучили кошти, мусять передавати 80% своїх коштів NVIDIA для закупівлі графічних процесорів. Компанії, які виробляють власні великі моделі, мають витрачати принаймні 50 мільйонів доларів на побудову власних дата-центрів, тоді як маленькі стартапи мусять закуповувати дорогі послуги хмарних обчислень.

Проте короткострокова популярність великих моделей та велике споживання обчислювальних ресурсів самими великими моделями значно перевищили поставки NVIDIA. За статистикою, попит на обчислювальну потужність великих моделей подвоюється кожні кілька місяців. Між 2012 та 2018 роками попит на обчислювальну потужність збільшився в 300 000 разів, а витрати на обчислення великих моделей зросли в 31 раз щороку.

Для китайських інтернет-компаній також доводиться стикатися з ембарго США на високопродуктивні графічні процесори. Можна сказати, що величезні витрати на навчання - це основна причина, чому технологія великих моделей контролюється кількома людьми.

Отже, як вирішити проблему обчислювальної потужності великих моделей через блокчейн?

Розглядаючи виробництво великих моделей, воно в основному поділяється на тренування великої моделі, тонке налаштування та обчислення запитів користувачів. Хоча великі моделі відомі своєю дорогоцінністю для тренування, версія великої моделі потребує генерування лише один раз. Більшість часу для користувачів послуг великої моделі потрібне лише інферентне обчислення. За статистикою AWS, це також підтверджується, 80% обчислювальної потужності фактично витрачається на інферентні обчислення.

Хоча навчання великих моделей вимагає високошвидкісних комунікаційних можливостей між GPU, його неможливо завершити в мережі (якщо ви не виберете торгівлю часовим розширенням за низьку вартість). Але розрахунки виведення можуть бути виконані на одному GPU. Тонке налаштування базується на великій моделі, яка була створена, і надані професійні дані, тому воно потребує набагато менше обчислювальних ресурсів, ніж навчання великої моделі.

Коли справа доходить до рендерингу графіки, очевидно, що споживчі графічні процесори працюють краще, ніж корпоративні, і більшу частину часу простоюють. З тих пір, як Каліфорнійський університет в Берклі запустив SETI для пошуку інопланетян в 1999 році, а Grid Computing став популярним в 2000 році, з'явилися деякі технічні архітектури, які використовують незадіяні обчислювальні ресурси для спільної роботи для виконання деяких величезних обчислювальних завдань. До появи блокчейну ці колаборації, як правило, були зосереджені на наукових завданнях і покладалися на ентузіазм і участь учасників у суспільному добробуті, обмежуючи сферу впливу. Тепер, використовуючи технологію блокчейн, її широкий спектр застосування можна стимулювати за допомогою токенів.

Так само, як проект децентралізованого хмарного обчислення Akash, була створена загальна обчислювальна мережа, і користувачі можуть розгортати моделі машинного навчання для розрахунків мислення та обробки зображень. Існують також блокчейн-проекти з штучним інтелектом, такі як Bittensor, Modulus Lab, Giza та ChainML, всі вони спрямовані на розрахунки запитів.

Протокол обчислень штучного інтелекту блокчейну Gensyn та відкрита платформа генеративного штучного інтелекту Together вирішили побудувати децентралізовану обчислювальну мережу, яка служитиме для навчання великих моделей.

Виклик: Для децентралізованих обчислювальних мереж проблема полягає не лише в повільних та ненадійних мережах зв'язку, нездатності синхронізувати обчислювальні стани, роботі з різними типами обчислювальних середовищ типу GPU, а також у вирішенні економічних стимулів, обману учасників, доказів виконання роботи, безпеки, захисту конфіденційності та проти спам-атак.

2) Рідкісні дані та корекція даних

Основний алгоритм великої моделі, Навчання з посиленням на основі зворотнього зв'язку від людини (RLHF), вимагає участі людини у вдосконаленні навчання для виправлення помилок та усунення упередженості та шкідливої інформації. OpenAI використовував RLHF для налаштування GPT3 з метою генерації ChatGPT. У процесі OpenAI знайшла експертів з Facebook Group та платила кенійським робітникам по 2 долари за годину. Оптимізація навчання часто вимагає участі людських експертів на даних зі спеціалізованих галузей, і його впровадження може бути повністю поєднано зі способами стимулювання участі спільноти через токени.

Галузь децентралізованих фізичних інфраструктурних мереж (DePINs) використовує токени для заохочення людей ділитися реальними даними з фізичного світу відповідно до сенсорів для різних модельних тренувань. Включаючи: React збирає дані про використання енергії, DIMO збирає дані про водіння транспортних засобів, WeatherXM збирає погодні дані, а Hivemapper збирає дані карт через токенові стимули для заохочення людей позначати дорожні знаки та допомагати своєму алгоритму машинного навчання RLHF підвищити точність.

У той же час, коли параметри великих моделей збільшуються, існуючі публічні дані будуть вичерпані до 2030 року, і подальший прогрес великих моделей доведеться ґрунтувати на приватних даних. Кількість приватних даних в 10 разів перевищує кількість публічних даних, але вони розсіяні в руках підприємств та фізичних осіб, і мають приватний та конфіденційний характер, тому їх важко використовувати. Виникає подвійна дилема. З одного боку, великій моделі потрібні дані, але хоча стороні, яка має дані, потрібна велика модель, вона не хоче передавати дані великій моделі. Ця подвійна проблема також може бути вирішена за допомогою технології в галузі блокчейну.

Для відкритих інференц-моделей, оскільки вони потребують менше обчислювальних ресурсів, модель може бути завантажена в сегмент даних для виконання; для несприятливих моделей або великих моделей дані потрібно дезенситизувати та завантажити на кінець моделі. Методи дезенситизації включають синтетичні дані та докази нульового знання.

Чи модель завантажується на бік даних, чи дані завантажуються на бік моделі, проблема повноважень потребує вирішення для запобігання обману моделі або даних.

Виклик: Хоча токенні стимули Web3 можуть допомогти вирішити цю проблему, проте потрібно вирішити проблему обману.

3) Співпраця моделі

У спільноті Civitai, найбільшій у світі платформі для обміну моделями малюнків штучного інтелекту, люди діляться моделями і можуть легко скопіювати модель та змінити її, щоб створити модель, яка відповідає їх власним вимогам.

Bittensor, відкритий проект штучного інтелекту та двохконсенсусний блокчейн, розробив набір децентралізованих моделей збудження токенів. На основі механізму співпраці змішаного експерта він спільно створює модель вирішення проблеми та підтримує дистиляцію знань, яка може бути спільною для моделей. Інформація, прискорений навчання, яке надає безліч стартапів можливість приєднатися до великих моделей.

Як уніфікована мережа для позамережевих служб, таких як автоматизація, оракули та спільний штучний інтелект, Autonolas розробила фреймворк співпраці для агентів, щоб досягти консенсусу через Tendermint.

Виклик: Навчання багатьох моделей все ще потребує багато комунікації, а надійність та часова ефективність розподіленого навчання все ще є великими перешкодами;

Великі моделі та інновації в Web3

Спільно з вищезазначеним як Web3 може бути використаний для вирішення деяких проблем у великій модельній індустрії. Поєднання двох важливих сил призведе до появи інноваційних застосувань.

1) Використовуйте ChatGPT для написання розумних контрактів

Нещодавно художник NFT використовував підказки для роботи з ChatGPT без будь-яких знань програмування, щоб випустити свій власний смарт-контракт та випустити токен Turboner. Художник використовував YouTube, щоб записати процес свого створення протягом тижня, надихаючи всіх використовувати ChatGPT. Беріть участь у створенні смарт-контракту.

2) Крипто-платіж дозволяє здійснювати інтелектуальний управління

Розробка великих моделей значно покращила інтелект розумних помічників, а в поєднанні із зашифрованими платежами розумні помічники зможуть координувати більше ресурсів і співпрацювати над більшою кількістю завдань на ринку розумних помічників. AutoGPT демонструє залежність від кредитної картки, наданої користувачем, і він може допомогти користувачеві автоматизувати купівлю ресурсів хмарних обчислень і бронювання авіаквитків, але обмежений автоматичним входом або іншою автентифікацією безпеки, а можливості AutoGPT сильно обмежені автоматичним входом або іншою автентифікацією безпеки. Дизайн мультиагентної системи (MAS), включаючи протокол Contract Net, включає в себе співпрацю декількох інтелектуальних помічників на відкритому ринку, і якщо вона буде підтримуватися токенами, така співпраця прорветься через обмежену співпрацю, засновану на довірі, і стане більш масштабною співпрацею, заснованою на ринковій економіці, подібно до того, як людське суспільство переходить від примітивного суспільства до грошового суспільства.

3) zkML（Zero Knowledge Machine Learning）

Застосування технології zkp (Zero Knowledge Proof) в блокчейні ділиться на дві категорії. Один з них полягає в тому, щоб вирішити проблему продуктивності блокчейну шляхом передачі обчислювальних вимог до офчейн, а потім до ончейн-сертифікації через zkp; друга категорія - Використовується для захисту конфіденційності транзакцій. Застосування zkp у великих моделях включає в себе достовірні обчислення моделі (для доведення узгодженості та достовірності модельних обчислень) і розрахунки конфіденційності навчальних даних. У децентралізованому середовищі постачальник послуг моделі повинен довести клієнтам, що продана модель є моделлю, обіцяною клієнту, не зрізаючи кути; Для того, щоб навчати партнерів з обробки даних, вони повинні брати участь у тренінгах або використовувати модель на основі захисту власної конфіденційності. . Незважаючи на те, що zkp пропонує деякі можливості, все ще існує багато проблем, а такі рішення, як гомоморфні обчислення та обчислення федеративної конфіденційності, все ще незрілі.

Рішення на основі архітектури BEC (Blockchain Edge Client)

Крім вищезазначених шкіл, є ще одна школа, яка не отримала широкої уваги через відсутність токенів і використання мінімалістських блокчейн-додатків.

Архітектура на основі BEC має багато спільного з концепціями Web5, згаданими Джеком Дорсі та Solid Тімом Бернерсом-Лі в багатьох аспектах.

Вони всі думають:

• Кожна людина має відповідний вузол керування краєм;
• Обчислення та зберігання в більшості сценаріїв застосування слід обробляти на краївних вузлах;
• Співпраця між окремими вузлами завершується за допомогою блокчейну;
• Зв'язок між вузлами виконується через P2P;
• Особи можуть повністю контролювати свої власні вузли самостійно або довіряти довіреним особам управління вузлами (у деяких сценаріях їх називають реле-серверами);
• Досягнула найбільш можливої децентралізації;

Коли кожен вузол відповідає кожній особі і контролюється окремо, зберігаючи особисті дані та завантажуючи велику модель, можна навчити повністю персоналізованого, на 100% захищеного від переслідування персонального розумного агента (Агента). Китайський засновник партнер SIG д-р Гонг Тін романтично порівняв майбутній особистий вузол з особистим хмарою над головою Олафа в «Крижане серце», яка завжди його слідує.

Таким чином, аватар у метавсвіті більше не буде зображенням, керованим клавіатурою, а агентом з душею. Він може вивчати онлайн новини, обробляти електронні листи, навіть автоматично відповідати на ваші соціальні повідомлення цілодобово від нашого імені. (Увага, докучливі подруги, вам може знадобитися спосіб виявлення того, чи користується ваш хлопець агентом для взаємодії з вами у майбутньому). Коли вашому агенту потрібні нові навички, так само як встановлення додатка на мобільний телефон, ви можете встановити новий додаток у своєму вузлі.

Опис

Історично, з нескінченною платформізацією розвитку Інтернету, хоча час народження компаній-єдинорогів ставав коротшим і коротшим, це стало все більш шкідливим для розвитку стартапів.

Завдяки ефективній платформі розповсюдження контенту, наданій Google та Facebook, Youtube, який народився в 2005 році, був придбаний Google за 1,6 мільярдів доларів всього через рік.

Разом з ефективною платформою розподілу додатків Apple App Store Instagram був заснований у 2012 році менше, ніж 10 людьми і був придбаний Facebook за 1 мільярд доларів у 2012 році.

З підтримкою великої моделі ChatGPT компанія Midjourney, в якій всього 11 осіб, заробляє 100 мільйонів доларів США на рік. А OpenAI, в якій не більше 100 осіб, оцінюється в більш ніж 20 мільярдів доларів США.

Компанії-інтернет-платформи стають все потужнішими, і поява великих моделей не змінила існуючу схему монополізації Інтернету великими підприємствами. Три елементи великих моделей, алгоритми, дані та обчислювальна потужність все ще монополізовані великими підприємствами. Стартап-компанії не мають здатності інновацій великих моделей і не мають фінансової сили для навчання великих моделей. Вони можуть лише зосередитися на застосуванні великих моделей у вертикальних галузях. Хоча великі моделі, здається, сприяють поширенню знань, реальна влада знаходиться під контролем невід більше ніж 100 осіб у світі, які мають здатність створювати моделі.

Якщо в майбутньому великі моделі проникнуть у всі аспекти життя людей, і ви запитаєте у ChatGPT про свій щоденний раціон, своє здоров'я, робочу електронну пошту та листи вашого адвоката, то в теорії ті, хто володіє великими моделями, можуть лише секретно змінити деякі параметри. Це може значно вплинути на життя безлічі людей. Деяку безробіття, спричинену великою моделлю, можна вирішити за допомогою UBI або Worldcoin, але наслідки можливого злочину, спричинені великою моделлю, якою керують кілька людей, серйозніші. Це оригінальний намір OpenAI. Хоча OpenAI вирішує проблеми, спрямовані на отримання прибутку, за допомогою неприбуткових методів, як вона вирішує проблеми, пов'язані із владою? Очевидно, що великі моделі швидко тренують моделі знань, використовуючи знання, накопичені людьми протягом десятиліть і безкоштовно поширені в Інтернеті, але цю модель контролює дуже мало людей.

1. Отже, існує великий конфлікт цінностей між великими моделями та блокчейном. Практики блокчейну повинні брати участь у підприємництві великих моделей та використовувати технологію блокчейну для вирішення проблем великих моделей. Якщо велика кількість даних, що вільно доступна в Інтернеті, є загальними знаннями людства, то великі моделі, що створені на основі цих даних, повинні належати всьому людству. Так само, як OpenAI нещодавно розпочала оплату літературних баз даних, OpenAI повинна оплачувати особисті блоги, які ти і я присвячуємо собі.

Disclaimer：

1. Ця стаття була перевидана з [ ThreeDAO, Острів усього]. Усі авторські права належать оригінальному автору [ 36C]. Якщо є зауваження до цього перепублікування, будь ласка, зв'яжіться Gate Learnкоманда, і вони оперативно цим займуться.
2. Відповідальність за відмову: Погляди та думки, висловлені в цій статті, є виключно тими автора і не становлять жодної інвестиційної поради.
3. Переклади статті на інші мови виконуються командою Gate Learn. Якщо не зазначено інше, копіювання, поширення або плагіатування перекладених статей заборонено.