Чому чат-боти з ШІ помиляються?
Галюцинації програмного забезпечення.
В третій частині серії публікації про ШІ поговоримо про те, чому чат-боти іноді поводять себе не так, як очікувалось.
29 березня 2023 року група експертів зі штучного інтелекту та технологічних лідерів, включно з Ілоном Маском, закликала лабораторії ШІ призупинити роботу над своїми найсучаснішими системами, попередивши, що вони становлять “серйозні ризики для суспільства та людства”.
Група закликала до шестимісячної паузи в роботі над системами, потужнішими за GPT-4, представленої цього місяця компанією OpenAI, співзасновником якої був сам Маск. Пауза дасть час для впровадження “спільних протоколів безпеки”, йдеться у відкритому листі групи. “Якщо така пауза не може бути прийнята швидко, уряди повинні втрутитися і ввести мораторій”.
Багато експертів розходяться в думках щодо серйозності ризиків, про які йдеться в листі, і ми розглянемо деякі з них пізніше. Але низка неочікуваностей, пов’язаних з ШІ, вже спливла на поверхню.
На початку лютого Google представив нового чат-бота Bard, який відповідав на запитання про космічний телескоп Джеймс Вебб. Існувала лише одна проблема: одне з тверджень бота — про те, що телескоп зробив найперші знімки планети за межами нашої Сонячної системи — було абсолютно неправдивим.
Такі боти, як Bard і ChatGPT від OpenAI, надають інформацію з моторошною спритністю. Але вони також видають правдоподібну брехню або роблять справді моторошні речі, наприклад, наполягають на тому, що вони закохані в журналістів New York Times.
Як таке можливо?
Сміття в інтернеті та галюцинації
У минулому технологічні компанії ретельно визначали, як має поводитися програмне забезпечення, по одному рядку коду за раз. Тепер вони розробляють чат-ботів та інші технології, які самостійно навчаються, визначаючи статистичні закономірності у величезних обсягах інформації.
Значна частина цих даних надходить з таких сайтів, як Вікіпедія та Reddit. Інтернет кишить корисною інформацією, від історичних фактів до медичних порад. Але він також переповнений неправдою, мовою ворожнечі та іншим сміттям. Чат-боти поглинають все це, включаючи явну та приховану упередженість (bias) тексту.
І завдяки дивовижному способу, в який вони змішують і комбінують вивчене для створення абсолютно нового тексту, вони часто створюють переконливе твердження, яке є абсолютно неправильним або взагалі не існує в їхніх навчальних даних. Дослідники ШІ називають цю тенденцію до вигадування “галюцинаціями” (hallucination), які можуть включати нерелевантні, безглузді або фактично неправильні відповіді.
Ми вже бачимо реальні наслідки галюцинацій штучного інтелекту. Stack Overflow, сайт запитань і відповідей для програмістів, тимчасово заборонив користувачам надсилати відповіді, згенеровані за допомогою ChatGPT, оскільки чат-бот занадто легко генерував правдоподібні, але неправильні відповіді.
“Ці системи живуть у світі мови, — каже Мелані Мітчелл, дослідниця ШІ з Інституту Санта-Фе. “Цей світ дає їм деякі підказки про те, що є правдою, а що ні, але мова, з якої вони вчаться, не ґрунтується на реальності. Вони не обов’язково знають, чи є те, що вони генерують, правдивим чи неправдивим”.
(Коли ми попросили Bing навести приклади галюцинацій чат-ботів, він фактично відповів галюцинацією).
Уявляйте собі чат-ботів як джазових музикантів. Вони можуть переварити величезні обсяги інформації — наприклад, кожну пісню, яка коли-небудь була написана, — а потім зімпровізувати на результатах. Вони здатні поєднувати ідеї у дивовижні та креативні способи. Але неправильні ноти вони також грають з абсолютною впевненістю.
Справа не тільки в них — справа в нас
Іноді причиною є не програмне забезпечення. А люди.
Ми схильні бачити закономірності, яких насправді немає, і приписувати людські риси та емоції нелюдським сутностям. Це називається антропоморфізмом (anthropomorphism). Коли собака дивиться нам в очі, ми схильні вважати її розумнішою, ніж вона є насправді. Так працює наш розум.
А коли комп’ютер починає складати слова, як ми, у нас складається хибне враження, що він може міркувати, розуміти й виражати емоції. Ми також можемо поводитися непередбачувано. (Минулого року компанія Google відправила інженера в оплачувану відпустку після того, як відхилила його заяву про те, що її штучний інтелект є розумним. Пізніше його звільнили).
Чим довше триває розмова, тим більше ви впливаєте на те, що говорить велика мовна модель. Сумнозвісна розмова Кевіна з Bing є особливо гарним прикладом. За словами дослідників, таких як піонер ШІ Террі Сейновскі, через деякий час чат-бот може почати відображати ваші думки та цілі. Якщо ви скажете йому стати моторошним, він стане моторошним.
Він порівняв технологію з Дзеркалом Бажань, чарівним артефактом з романів і фільмів про Гаррі Поттера. “Воно дає все, що ви шукаєте — все, що ви хочете, чого очікуєте або бажаєте”, — сказав д-р Сейновскі. “Оскільки людина і L.L.M. віддзеркалюють одне одного, з часом вони будуть прагнути до спільного концептуального стану”.
Чи можуть вони це виправити?
Такі компанії, як Google, Microsoft та OpenAI працюють над розв’язанням цих проблем.
OpenAI працювала над вдосконаленням чат-бота, використовуючи відгуки людей-тестувальників. Використовуючи техніку під назвою “навчання з підкріпленням”, система отримала краще розуміння того, що вона повинна і чого не повинна робити.
Microsoft, зі свого боку, обмежила тривалість розмови зі своїм чат-ботом Bing. Вона також латає вразливості, які виявили небайдужі користувачі. Але виправити кожну окрему заминку складно, якщо взагалі можливо.
Тож так, якщо ви розумні, ви, ймовірно, зможете змусити ці системи робити щось образливе або моторошне. Багато експертів побоюються, що ці боти дозволять інтернет-шахраям, недобросовісним маркетологам і ворожим національним державам поширювати дезінформацію та спричиняти інші види неприємностей.
Одна важлива річ
Використовуючи цих чат-ботів, зберігайте скептицизм. Подивіться на них такими, якими вони є насправді.
Вони не відчувають і не мають свідомості. В чомусь вони розумні, а в чомусь ні. Пам’ятайте, що вони можуть помилятися. Пам’ятайте, що вони можуть щось вигадувати.
Але з іншого боку, є багато інших речей, для яких ці системи дуже корисні. В наступній частині розповімо про це докладніше.
Ваше домашнє завдання
Попросіть ChatGPT або Bing пояснити якусь тему, в якій ви добре розбираєтесь. Чи правильні його відповіді?
Якщо ви отримали цікаві відповіді, правильні чи неправильні, ви можете поділитися ними в коментарях.
Глосарій
Галюцинації (Hallucination): Добре відоме явище у великих мовних моделях, коли система дає відповідь, яка є фактично неправильною, нерелевантною або безглуздою через обмеження в її навчальних даних та архітектурі.
Зміщення, упередження (Bias): Тип помилки, яка може виникнути у великій мовній моделі, якщо її вихідні дані спотворені навчальними даними моделі. Наприклад, модель може пов’язувати певні риси чи професії з певною расою, чи гендером, що призводить до неточних прогнозів і образливих відповідей.
Антропоморфізм (Anthropomorphism): Схильність людей приписувати чат-ботам людські якості або характеристики. Наприклад, ви можете вважати його добрим або жорстоким на основі його відповідей, хоча він не здатний відчувати емоції, або ви можете вважати ШІ розумним, оскільки він дуже добре імітує людську мову.
