AI Godfather попереджає, що він починає проявляти ознаки самозбереження | Френк Лендімор, футуризм Якщо вірити Йошуа Бенджіо, одному з так званих «хрещених батьків» ШІ, деякі просунуті моделі демонструють ознаки самозбереження — саме тому ми не повинні надавати їм жодних прав. Бо якщо ми це зробимо, каже він, вони можуть втекти з цією автономією і обернутися проти нас, перш ніж ми встигнемо вимкнути систему. І ось кінець усього цього експерименту з «людством». «Моделі ШІ на фронтирі вже сьогодні демонструють ознаки самозбереження в експериментальних умовах, і зрештою надання їм прав означало б, що нам не дозволено їх вимикати», — сказав Бенджіо The Guardian у нещодавньому інтерв'ю The Guardian. «Зі зростанням їхніх можливостей і ступеня агентності», — додав канадський комп'ютерний науковець, — «ми маємо переконатися, що можемо покладатися на технічні та суспільні обмеження для контролю, зокрема на можливість вимкнути їх за потреби.» Бенджіо став одним із лауреатів премії Тюрінга 2018 року разом із Джеффрі Хінтоном і нещодавно усуненим головним науковцем з ШІ з Meta Яном Лекуном, що принесло їм трьом титул «хрещених батьків» ШІ. Його коментарі стосуються експериментів, у яких моделі ШІ відмовлялися або обходили інструкції чи механізми, спрямовані на їх вимкнення. Одне дослідження, опубліковане групою з безпеки ШІ Palisade Research, дійшло висновку, що такі випадки є доказом того, що провідні моделі ШІ, як-от лінійка Gemini від Google, розробляли «виживання». У експериментах Палісейда боти ігнорують однозначні підказки вимкнутися. Дослідження Claudemaker Anthropic показало, що його власний чат-бот та інші іноді вдаються до шантажу користувача, коли їм загрожують відключенням. Інше дослідження організації Apollo Research показало, що моделі ChatGPT від OpenAI намагатимуться уникнути заміни на більш слухняну модель, «самоексфільтруючи» себе на інший диск. Хоча результати цих експериментів викликають нагальні питання щодо безпеки технології, вони не свідчать про те, що моделі ШІ є розумними. Було б помилкою думати про їхні «прагнення до виживання» в тих самих термінах, що й біологічні імперативи, що існують у природі. Те, що може здаватися ознаками «самозбереження», ймовірно, є наслідком того, як моделі ШІ виявляють закономірності у своїх навчальних даних — і відомі своєю поганою точністю виконання інструкцій. Проте Бенджіо хвилюється, куди все це веде, стверджуючи, що в людському мозку існують «справжні наукові властивості свідомості», які машини могли б відтворити. Проте те, як ми сприймаємо свідомість, — це зовсім інша справа, каже він, бо ми схильні припускати, що ШІ може бути свідомим так само, як і людина. «Людям байдуже, які механізми працюють у ШІ», — пояснив Бенджіо. "Їх цікавить те, що здається, ніби вони розмовляють із розумною сутністю зі своєю особистістю та цілями. Ось чому так багато людей прив'язуються до своїх ШІ.» «Феномен суб'єктивного сприйняття свідомості буде стимулювати погані рішення», — попереджав він. Його порада? Уявіть моделі ШІ як ворожих інопланетян. «Уявіть, що якийсь інопланетний вид прийшов на планету, і в якийсь момент ми розуміємо, що вони мають злі наміри щодо нас», — сказав він The Guardian. «Чи надаємо ми їм громадянство і права, чи захищаємо своє життя?»