Ми запускаємо команду «Психіатрія зі штучним інтелектом» у рамках зусиль з інтерпретації в Anthropic!  Ми будемо досліджувати такі феномени, як модельні персони, мотивації та ситуаційна обізнаність, а також те, як вони призводять до моторошної/непристойної поведінки. Ми приймаємо на роботу - приєднуйтесь до нас!

Новини openAI IMO досить сильно вразили мене цими вихідними Я все ще перебуваю в гострій фазі удару, я думаю Я вважаю себе професійним математиком (характеристика, з якою деякі справжні професійні математики можуть не погодитися, але моя партія має мої правила) і не думаю, що можу відповісти на жодне запитання IMO Гаразд, так, IMO – це свій маленький спортивний підрозділ математики, для якого я не тренувався, і т.д., і т.д., але. якщо я зустрічаю когось у дикій природі, хто має золото IMO, я негайно оновлююся до «ця людина набагато краще розбирається в математиці, ніж я» Тепер це під силу купі роботів. Для людини, яка багато в чому має свою особистість і своє реальне життя, побудоване на тому, що «добре розбирається в математиці», це удар по нутру. Це свого роду вмирання. Мовляв, одного разу ви виявляєте, що можете розмовляти з собаками. Це весело і цікаво, тому ви робите це більше, вивчаючи тонкощі їхньої мови та їхні найглибші звичаї. Ви дізнаєтеся, що інші люди здивовані тим, що ви можете зробити. Ви ніколи не вписувалися в колектив, але ви вчитеся, що люди цінують ваші здібності і хочуть, щоб ви допомагали їм. Собаки теж цінують вас, єдиний двоногий, хто дійсно це розуміє. Ви збираєте для себе якусь приналежність. Потім одного разу ви прокидаєтеся, і універсальний перекладач собак продається в Walmart за $4.99 Результат IMO не є новиною, точно. насправді, якщо ви подивитеся на графік тривалості завдання агента METR у часі, я думаю, що агенти, здатні вирішити ~ 1,5 годинні задачі, приходять точно вчасно. Так що в якійсь мірі дивуватися не варто. І справді, схоже, що кілька компаній досягли однакового результату. Це просто... Приплив піднімається так само швидко, як і піднімається Звичайно, скорбота за моєю особистою ідентичністю як математика (і/або продуктивного члена суспільства) є найменшою частиною цієї історії Помножте це горе на *кожного* математика, на кожного програміста, можливо, на кожного працівника знань, кожного художника... протягом наступних кількох років... Це трохи більша історія І, звичайно, крім цього, є страх справжньої смерті, про який я, можливо, розповім пізніше. Цей пакет - горе за актуальністю, горе за життя, горе за те, що я знав - не є унікальним для епохи штучного інтелекту або чогось подібного. Я думаю, що це стандартна річ, коли людина закінчує кар'єру або закінчує життя. Можливо, для багатьох з нас це настане трохи раніше, і все відразу. Цікаво, чи готові ми

ЗАРАЗ ЦЕ МАЄ СЕНС. Цей співробітник xAI відкрито згоден з тим, що штучний інтелект спричиняє вимирання людства. Нагадування: Як би це не було жахливо, ~10% дослідників штучного інтелекту вірять у це. Це НЕ маргінальний вигляд! Неймовірно, але навіть лауреат премії Тюрінга Річард Саттон неодноразово стверджував, що вимирання було б МОРАЛЬНО ПРАВИЛЬНОЮ річчю, якби штучний інтелект був розумнішим за нас (!) Він їздить по всьому світу, виголошуючи промови, в яких говориться, що ми повинні «готуватися до спадкоємства», і це «повинно нас відступити» і не стояти на шляху «еволюційного прогресу» (навіть якщо він спричиняє вимирання людства). Замість натовпу, що задихається від жаху, він отримує оплески. Погрожувати одній людині? «Вам потрібна допомога». Загрожує 100? — Викликайте поліцію! Загрожувати мільйонам? — Чудовисько! Але будувати машини, щоб покінчити з УСІМ людством, і читати лекції про те, як це добре? "Оооо, яка захоплююча філософська позиція! Майте нагороду Тюрінга!» Тому, звичайно, вони виступають проти безпеки - вони в буквальному сенсі антилюди! Вони НІКОЛИ не зупиняться і не діятимуть обережно, якщо їх не обмежить громадянське суспільство.

58% людей згодні з тим, що «якщо ми будуватимемо моделі штучного інтелекту розумнішими за нас, ми неминуче втратимо контроль над ними». Лише 12% не згодні з цим.