Глибокого навчання попередники Йошуа Бенджіо, авторка підручника з ШІ Стюарт Рассел, Тайванська безпосередня амбасадорка (міністр без портфеля) Танг Фен та інші 25 провідних учених спільно опублікували роботу, яка системно пояснює 7 моделей загроз впливу ШІ на демократичні інститути та суспільні системи. Ключова теза полягає в тому, що навіть якщо кожну модель ідеально «узгодити» з людськими цінностями, масштабний ефект ШІ все одно руйнуватиме роботу демократичного врядування зсередини.
（Передісторія: коли я сам не можу довести, що я не є ШІ, експерти з криміналістики радять: домовтеся з рідними про таємний пароль）
（Додатковий контекст: Anthropic запустили інформаційну панель впливу ШІ: введіть професію — за секунди дізнайтеся, скільки саме вашої роботи «з’їсть» ШІ?）
Зміст статті
Перемикач
- 7 різновидів збоїв демократії в умовах ШІ
- Танг Фен: приклад для Тайваню — розв’язання труднощів ШІ-врядування через дорадчу демократію
- 7 рекомендацій і ключові висновки
Назва цієї статті, опублікованої 25 березня, — «AI Poses Risks to Democratic and Social Systems» («ШІ створює ризики для демократичних і соціальних систем»); авторський склад надзвичайно вражає. Окрім лауреата премії Тюрінга 2018 року Йошуа Бенджіо, Стюарта Рассела з Університету Берклі та Бернхарда Шелькопфа з Інституту Макса Планка, також є Танг Фен (Audrey Tang) з Оксфордського інституту етики ШІ, а ще авторитетні дослідники з таких установ, як Університет Торонто, ETH Цюрих, Університет Мічигану тощо.
Підхід цієї статті відрізняється від більшості досліджень безпеки ШІ, бо наразі домінантні напрями в безпеці ШІ зосереджені на проблемах «рівня моделі», таких як галюцинації, токсичні відповіді, моделі відмови або навіть більш крайній варіант «неконтрольований кінець світу ШІ» тощо.
Але ця стаття вказує, що існує ціла категорія ризиків, яку ігнорують: після великомасштабного розгортання ШІ завдання «системного рівня» завдаватиме шкоди суспільним інститутам і демократичному врядуванню.
Один модуль, що генерує отруйний контент, можна обробити техніками узгодження; однак один мільйон подань, які відповідають вимогам, ввічливі, коректні з погляду політик і взагалі не становлять проблеми, достатні, щоб паралізувати здатність державних органів опрацьовувати публічні думки — і це вже виходить за межі того, з чим може впоратися узгодження.
7 різновидів збоїв демократії в умовах ШІ
Пояснимо цю статтю трохи детальніше: текст розкладає загрози ШІ для врядування на 7 моделей збою (T1–T7), розташованих уздовж «причинно-відповідного контуру врядування». Так ми можемо зрозуміти, що людське суспільство зазвичай має послідовність: суспільні інститути отримують сигнали від системи вводу (політичне самовираження) → інститути обробляють ці сигнали (публічні дискусії) → інститути повертають рішення в суспільство (законодавство). Але ШІ може створити фактори розриву на кожному з цих етапів.
З боку «публічної віри» є дві загрози.
Гомогенізація переконань (T1): коли більшість людей використовують подібні моделі для мислення й письма, різноманітність публічних дискусій стискається, адже методи подальшого навчання LLM, як-от RLHF, систематично придушують різноманітність поглядів виводів моделей.
Підсилення переконань (T2): персоналізовані помічники на основі ШІ підлаштовуються під уже наявні погляди користувача; довготривала функція пам’яті підтримує таку підлаштованість у часі, формуючи замкнене коло самопідтвердження. Дані, на які посилається дослідження, показують, що коли GPT-4 отримує соціально-демографічні дані користувача, ймовірність переконати його погодитися зі своїми аргументами зростає більш ніж на 80%.
З боку «інституційної обробки» є два ризики:
Бюрократичне затоплення (T3): ШІ дозволяє будь-кому з майже нульовою вартістю генерувати велику кількість унікальних, на вигляд цілком обґрунтованих публічних думок для подання, паралізуючи здатність установ їх опрацьовувати.
Когнітивний паводок (T4): вартість створення переконливого контенту вже значно нижча за вартість перевірки та виправлення, тож інформаційна екосистема тоне.
З боку «інституційної підзвітності» є:
Непідконтрольний авторитет (T5): непрозорість рішень ШІ, масштаб і бар’єри доступу разом звалюють тягар на існуючі механізми нагляду.
Концентрація норм (T6): коли уряд закуповує передові моделі ШІ, ціннісні обмеження розробника вбудовуються разом із моделлю в публічну базову інфраструктуру; по суті, це переносить силу визначення норм від обраних посадовців до невеликої групи розробників.
Нарешті, концентрація влади (T7) проходить через усі етапи.
ШІ одночасно заміщує людську працю та участь в економіці, ідеології, політиці та військовій сфері, послаблюючи важелі, якими громадяни користуються для стримування інституцій.
Історично концентрація влади в одній сфері зазвичай врівноважувалась силами протидії з інших сфер, але у ШІ є особливість: він може одночасно послабити важелі громадян у всіх сферах.
Танг Фен: приклад для Тайваню — розв’язання труднощів ШІ-врядування через дорадчу демократію
У статті Танг Фен зробив внесок у кілька ключових фрагментів, відстоюючи думку, що замість пасивної оборони проти інституційних ударів, які спричиняє ШІ, слід з фундаменту перерозбудувати архітектуру дорадчого врядування.
Стосовно бюрократичного затоплення (T3) Танг Фен запропонував «структуровану платформу для дорадчого обговорення» як альтернативу. Такі платформи використовують техніки зменшення розмірності для агрегації публічних думок — щоб проявлявся консенсус, а не домінувала найбільша гучність. Оскільки учасники голосують за наявні формулювання, а не вільно подають текст, система структурно винагороджує агрегування позицій, а не роз’єднувальну риторику; це краще протистоїть атакам «паводок синтетичного контенту» (flood attack), ніж відкриті системи коментування.
У парі з механізмом жеребкування (випадково відібрані групи громадян), щоб перевіряти ідентичність через «вибраність», а не через «самономінацію», великомасштабне видавання себе за інших стає структурно важчим.
Стосовно когнітивного паводку (T4) Танг Фен наводить кейс із практики: під час тайванської пандемії COVID-19 застосували стратегію «гумор сильніший за чутки»; після виявлення фейкової інформації державні органи створювали підтверджений контент за кілька хвилин — змагаючись за швидкістю і вірусністю з фейковою інформацією, а не відповідаючи шляхом видалення.
Стосовно концентрації норм (T6) Танг Фен зазначив, що нове дослідження «колективної конституційної ШІ» (collective constitutional AI) довело: через дорадчі процеси репрезентативні зразки публіки можуть розробляти конституцію для ШІ; отримані моделі демонструють доволі високі результати за показниками безпеки, при цьому менш упереджені, ніж базові варіанти, розроблені розробниками.
Головне, щоб цей процес був федеративним: різні політичні режими мають змогу раціонально встановлювати різні пріоритети норм; єдина конституція не повинна виключати таку варіативність.
Найконкретніший приклад у статті з’являється в рекомендації R7 (інфраструктура для дорадчого врядування інвестиціями в ШІ).
У 2024 році реклами зі deepfake, що видавалися за публічних осіб, масово поширювалися в соціальних мережах. Міністерство цифрових розвитків Тайваню зібрало 447 випадково обраних громадян; вони обговорювали онлайн у 44 віртуальних кімнатах дорадчих слухань, а рушій діалогу ШІ того ж дня узагальнив їхні пропозиції. Ця громадська асамблея фокусувалася на «регулюванні дієвців і дій»: відповідальності платформ за несанкціоновану рекламу з deepfake, примусовому маркуванні рекламних матеріалів без підпису, лімітуванні трафіку для нерегламентованих сервісів — а не на шляху контентної цензури.
Тоді заборонний законопроєкт ухвалили за підтримки різних політичних партій, і за рік шахрайська реклама зникла на 94%.
7 рекомендацій і ключові висновки
Стаття пропонує 7 рекомендацій для відповідей на основні ризики:
- R1 розробити багатомодельні симуляційні системи агентів і провести стрес-тести стійкості інститутів у сценаріях великомасштабної участі ШІ
- R2 тренувати моделі підтримувати «когнітивне здоров’я», виходячи за рамки простого уникання шкоди, — виховувати чесні заперечення та когнітивну скромність
- R3 обмежувати автономність ШІ в контекстах, пов’язаних із врядуванням, зберігаючи людську підзвітність
- R4 створити «рівні безпеки інституцій» (ISL), встановлюючи відповідні пороги для врядування залежно від можливостей ШІ
- R5 вимагати від інституційного ШІ зберігати записи рішень і проводити верифікацію ідентичності для участі громадськості
- R6 публічні закупівлі ШІ мають вимагати інтероперабельності та стратегії з кількома постачальниками, щоб уникнути нормативної монополії однієї родини моделей
- R7 інвестувати в інфраструктуру дорадчого врядування, щоб канали демократичної участі самі по собі були більш стійкими до маніпуляцій
Стаття також позитивно відповідає на два поширені заперечення. Перше полягає в тому, що «суспільство саме пристосує ШІ», але стаття зазначає: тоді як ШІ концентрує економічну ренту, він водночас руйнує політичні й організаційні здатності, від яких залежить інституційна само-корекція; темп накопичення шкоди може бути швидшим за темп адаптації.
Друге заперечення: «достатньо узгодити ШІ із суспільством». Стаття погоджується, що узгодження необхідне, але вказує, що деякі моделі збою (наприклад, атаки із асиметрією витрат для затоплення; ослаблення важелів громадян через заміщення праці) все одно відбуватимуться навіть у ситуації ідеального узгодження моделі.
У висновках статті зазначено, що інституційна стійкість не потрібно будувати з нуля: сучасні ініціативи у сфері громадянських технологій вже довели, що структуровані дорадчі процеси та участкове врядування можуть працювати на рівні держави; однак застосування цих інструментів у контексті ШІ-врядування залишається дуже відкритим дослідницьким викликом.
