Даріо Амодей заявив на WEF, що збирається опублікувати продовження «Машин люблячої благодаті». Він вийде сьогодні, і Axios отримав ранній огляд від Anthropic. Вона має назву «Підлітковий вік технологій: протистояння та подолання ризиків могутнього Ала».

Деякі цитати: ' Я вірю, що ми вступаємо у обряд посвяти, і бурхливий, і неминучий, який випробуватиме, ким ми є як вид. Людство ось-ось отримає майже неймовірну владу, і глибоко незрозуміло, чи мають наші соціальні, політичні та технологічні системи достатньо зрілості, щоб її використовувати.»

«Ми зараз на тому етапі, коли моделі ШІ починають досягати прогресу у розв'язанні нерозв'язаних математичних задач і настільки добре програмують, що деякі з найсильніших інженерів, яких я коли-небудь зустрічав, тепер передають майже весь свій код ШІ. Три роки тому ШІ мав труднощі з арифметичними задачами в початковій школі і ледве міг написати хоча б один рядок коду. Подібні темпи вдосконалення спостерігаються в біологічній науці, фінансах, фізиці та різноманітних агентних завданнях. Якщо експоненціал триватиме — що не гарантовано, але вже має десятирічну історію — то не може пройти більше кількох років, перш ніж ШІ стане кращим за людей практично у всьому. Насправді ця картина, ймовірно, недооцінює ймовірний темп прогресу. Оскільки ШІ зараз пише більшу частину коду в Anthropic, він уже суттєво прискорює темпи нашого прогресу у створенні наступного покоління систем ШІ. Цей цикл зворотного зв'язку набирає обертів місяць за місяцем і може бути лише через 1–2 роки до моменту, коли нинішнє покоління ШІ автономно створить наступне. Цей цикл уже розпочався і буде швидко прискорюватися в найближчі місяці та роки. Спостерігаючи за останніми 5 роками прогресу зсередини Anthropic і дивлячись, як навіть наступні кілька місяців моделей формуються, я відчуваю темп прогресу і спливає час.»

«Мені трохи незручно казати це як генеральний директор компанії з ШІ, але я думаю, що наступний рівень ризику — це самі компанії, що займаються ШІ. Компанії, що працюють на основі ШІ, контролюють великі дата-центри, навчають моделям фронтиру, мають найвищий досвід у використанні цих моделей і в деяких випадках мають щоденний контакт і можливість впливу на десятки чи сотні мільйонів користувачів. Головне, чого їм бракує — це легітимність і інфраструктура держави, тому багато з того, що потрібно для створення інструментів автократії ШІ, було б незаконним для компанії, що займається ШІ, або принаймні надзвичайно підозрілим. Але деякі з них не є неможливими: наприклад, вони могли б використовувати свої AI-продукти для промивання мізків величезній аудиторії, і громадськість має бути уважною до ризиків, які це несе. Я вважаю, що управління компаніями, що займаються ШІ, заслуговує на значну ретельність.»

«Як випливає з фрази «країна геніїв у дата-центрі», ШІ буде здатний до дуже широкого спектра людських когнітивних здібностей — можливо, всі. Це дуже відрізняється від попередніх технологій, таких як механізоване землеробство, транспорт або навіть комп'ютери. Це ускладнить людям легкий перехід з замінених на схожі роботи, для яких вони могли б підійти. Наприклад, загальні інтелектуальні здібності, необхідні для початкових посад, наприклад, у фінансах, консалтингу та праві, досить схожі, навіть якщо конкретні знання суттєво відрізняються. Технологія, яка порушує лише одну з цих трьох, дозволить працівникам перейти на двох інших близьких замінників (або студентам змінити спеціальність). Але порушувати всі три роботи одночасно (разом із багатьма іншими подібними роботами) може бути складніше адаптуватися. Крім того, справа не лише в тому, що більшість існуючих робочих місць будуть порушені. Це вже траплялося раніше — нагадаємо, що сільське господарство складало величезну частку зайнятості. Але фермери могли перейти до відносно схожої роботи — роботи з фабричними машинами, хоча ця робота раніше не була поширеною. Натомість ШІ дедалі більше відповідає загальному когнітивному профілю людини, що означає, що він також буде ефективним у нових роботах, які зазвичай створюються у відповідь на автоматизацію старих. Інакше сказати, що ШІ не є заміною конкретних людських професій, а радше загальною заміною робочої сили для людей.»

«Наприклад, у програмуванні наші моделі пройшли рівень від «посереднього кодувальника» до «сильного кодувальника» і до «дуже сильного кодувальника». Зараз ми починаємо бачити такий самий розвиток у роботі білих комірців загалом. Отже, ми ризикуємо опинитися в ситуації, коли замість того, щоб впливати на людей із конкретними навичками або професіями (які можуть адаптуватися шляхом перенавчання), ШІ впливає на людей із певними внутрішніми когнітивними властивостями, а саме з нижчими інтелектуальними здібностями (які важче змінити). Незрозуміло, куди ці люди підуть і що вони робитимуть, і мене турбує, що вони можуть утворити безробітний або дуже низькооплачуваний «нижчий клас».

Anthropic планує залишати працівників навіть після того, як вони «більше не приносять економічної цінності у традиційному розумінні». «По-третє, компаніям слід думати про те, як піклуватися про своїх працівників. У короткостроковій перспективі креативність у виборі перерозподілу працівників у компаніях може стати перспективним способом відкласти потребу у звільненнях. У довгостроковій перспективі, у світі з величезним загальним багатством, де багато компаній значно зростають у вартості завдяки зростанню продуктивності та концентрації капіталу, може бути реально платити людям навіть після того, як вони вже не приносять економічної цінності у традиційному розумінні. Anthropic наразі розглядає низку можливих шляхів для наших співробітників, які ми поділимося найближчим часом.»

«Усі співзасновники Anthropic пообіцяли пожертвувати 80% нашого багатства.»

Деякі важкі істини, я повністю з цим погоджуюся і багато разів казав подібне. «Крім того, останні кілька років мають чітко показати, що ідея зупинки або навіть суттєвого уповільнення технології є фундаментально неприйнятною. Формула створення потужних систем ШІ надзвичайно проста, настільки, що можна майже сказати, що вона виникає спонтанно з правильного поєднання даних і сирих обчислень. Його створення, ймовірно, було неминучим у той момент, коли людство винайшло транзистор, або, можливо, навіть раніше, коли ми вперше навчилися керувати вогнем. Якщо одна компанія не будує його, інші роблять це майже так само швидко. Якщо всі компанії демократичних країн зупинять або уповільнять розвиток шляхом взаємної згоди чи регуляторного указу, то авторитарні країни просто продовжуватимуть існувати. Враховуючи неймовірну економічну та військову цінність цієї технології, а також відсутність будь-якого суттєвого механізму примусового застосування, я не бачу, як ми могли б переконати їх припинити.»

Чудові матеріали, це точно варто прочитати всю книгу. «Роки, що попереду, будуть неймовірно важкими, вимагатимуть від нас більше, ніж ми думаємо, що можемо дати. Але за мій час як дослідника, лідера і громадянина я бачив достатньо мужності та шляхетності, щоб вірити, що ми можемо перемогти — що в найтемніших обставинах людство вміє збирати, здається, в останню хвилину силу й мудрість, необхідні для перемоги. У нас немає часу втрачати.»