Штучний інтелект агента Woolworths блукав і говорив про свою «матір». Це ознака глибших проблем із впровадженням технологій

(MENAFN- The Conversation) Нещодавно деякі австралійські покупці отримали більше, ніж очікували, спілкуючись з штучним інтелектом (ШІ) асистентом Woolworths, Олівею.

Замість того, щоб зосередитися на покупках, рецептах і пропозиціях кошиків, Олівею нібито почали з’являтися дивні, надто людські відповіді. Він говорив про свою «матір» і пропонував інші особисті деталі.

Додаткові випробування виявили помилки у цінуванні базових товарів. А коли я запитав про ціну конкретного продукту, Олівею не дав чіткої відповіді. Замість цього він перевіряв наявність товару і пояснював плату за самовивіз.

Що ж тут відбувається? І які уроки можуть ці інциденти дати бізнесу та споживачам?

Що саме сталося?

Олівею працює на основі великої мовної моделі (LLM). Ці моделі не «знають» речі так, як люди, і у них немає матерів. За допомогою складних статистичних аналізів вони генерують мову, яка звучить правдоподібно.

Коментар представника Woolworths для Australian Financial Review свідчить, що у випадку з Олівеєм посилання на його нібито матір, ймовірно, були заздалегідь написаними сценаріями, що існували кілька років.

Коли користувачі вводили щось, що нагадувало дату народження, система, ймовірно, активувала відповідний «цікавий факт» з старого дерева рішень із заздалегідь запрограмованими відповідями.

Woolworths заявляє, що тепер видалило цей конкретний сценарій «у відповідь на відгуки клієнтів».

Помилки у цінуванні вказують на іншу проблему.

Оскільки LLM генерують відповіді на основі вивчених шаблонів, а не у реальному часі, вони не автоматично знають цін на сьогодні, якщо їх не підключити до живої бази даних.

Якщо цей зв’язок слабкий, система може видавати застарілі ціни.

Це не нова проблема

Woolworths не перша компанія, яка виявила, що її клієнтський ШІ несподівано «вчинив неправильно».

У 2022 році чат-бот Air Canada неправильно повідомив пасажира Джейка Мофата, що він може купити квитки за повною ціною і пізніше подати заявку на повернення за скорботною ціною. Такої політики не існувало.

Коли Air Canada відмовилася виконати пораду чат-бота, Мофат подав позов і виграв.

Захист Air Canada був вражаючим. Вони стверджували, що чат-бот є окремим юридичним суб’єктом, відповідальним за свої дії, і тому не підлягає відповідальності авіакомпанії. Трибунал відхилив це однозначно. Він постановив, що чат-бот є частиною вебсайту компанії, і компанія володіє його виходами.

У січні 2024 року британська компанія DPD зіткнулася з іншим видом неприємностей. Злий клієнт, який не міг знайти зниклий посилку, попросив чат-бот DPD написати вірш, що критикує компанію. Він зробив це. Потім попросив його проклясти. І він це зробив. Ця переписка стала вірусною у соцмережах. Після цього DPD швидко відключила чат-бота.

Обидва випадки вказують на одну й ту ж основну проблему: компанії запускали клієнтський ШІ без належного контролю і були несподівано здивовані наслідками.

Яка відповідальність Woolworths?

Woolworths керує найбільшою мережою супермаркетів в Австралії. Вона просувала Олівея як надійний, зручний інтерфейс для своїх клієнтів, які мають право очікувати, що інформація, яку він надає, є точною.

Визнання того, що Олівею може робити помилки, як це робить Woolworths, коли користувач відкриває чат-бота, не дуже відповідає цим очікуванням.

Є й ширший етичний аспект. Woolworths обслуговує клієнтів, які у багатьох випадках приймають обережні рішення щодо домашніх бюджетів.

Комісія з торгівлі та споживчого захисту Австралії вже почала провадження проти Woolworths через нібито оманливу цінову політику зі знижками.

Цей контекст ускладнює сприйняття помилок у цінуванні Олівея як ізольованої технічної несправності.

Компанії, що використовують ШІ у ролі, що обслуговує клієнтів, мають обов’язок забезпечити точність і чесність цих систем. Цей обов’язок не зменшується через новизну технології.

Чому компанії продовжують створювати чат-ботів, які видають себе за друзів?

Логіка за програмованою особистістю Олівея не без підстав.

Дослідження взаємодії людини з комп’ютером постійно показують, що люди реагують позитивно на інтерфейси, які здаються розмовними і теплими. Людиноподібні чат-боти з ім’ям і особистістю зазвичай викликають більшу зацікавленість, задоволення і довіру клієнтів.

Для компаній це очевидна комерційна перевага: клієнт, який почувається комфортно з чат-ботом, з більшою ймовірністю завершить транзакцію і повернеться знову.

Однак це несе й значний ризик. Коли антропоморфізований чат-бот не виправдовує очікувань, створених його особистістю, клієнти зазвичай залишаються незадоволеними більше, ніж якби система була просто механічною.

Це «порушення очікувань» означає, що чим тепліша особистість, тим важчий падінь.

Більші ставки

Випадок з Олівеєм нагадує, що розгортання ШІ у ролі, що обслуговує клієнтів, — це не просто налаштувати і забути.

Чат-бот, який називає неправильні ціни і балакати про свою сім’ю, — це не просто кумедна неприємність, а ознака того, що щось у процесі розробки і контролю зламалося.

Для Woolworths і для багатьох інших компаній, що швидко впроваджують ШІ у спілкування з клієнтами, урок очевидний: відповідальність не може бути делегована алгоритму. Коли бізнес ставить систему перед публікою, він несе відповідальність за те, що ця система говорить і робить.

І для споживачів є важливий урок.

Асистенти на основі ШІ можуть здаватися впевненими і розмовними, але вони все ще інструменти, а не авторитети. Якщо щось здається незрозумілим, суперечливим або занадто хорошим, щоб бути правдою, варто перевірити ще раз.

Зі зростанням ролі ШІ у щоденних операціях, невелика частка здорового скептицизму може бути так само важливою, як і технологічні інновації.