В основному я підтримую модель Yudkowsky &Soares щодо AI X-Risk, але я схвалюю її менше, ніж у світі до GPT3. Я думаю, що можу дати контур того, куди я змістився 1. Нам може пощастити Може виявитися, що попереднє навчання на корпусі людського тексту спрямовує моделі штучного інтелекту в структуру високорівневої думки, яка досить схожа на людську, щоб радикально інший субстрат не зробив їх дивними таким чином, що в кінцевому підсумку мають значення. Є яскраві приклади того, як ЛМС поводяться дивно і нелюдськи, але також є приклади того, що вони напрочуд людські в глибині душі. Я думаю, що існує реальна ймовірність, а не лише можливість, що «турбота про людські уявлення про справедливість і співчуття» може бути способом, яким вони виявляться людьми в глибокому сенсі Я не думаю, що це швидше за все, ніж ні, і це обурливо, що ми повинні покладати надії на те, що нам пощастить. Але я бачу, що Юдковський надмірно зневажливо ставиться до цього шансу 2. Холоднокровне стратегування про те, як оптимізувати Всесвіт для якоїсь дивної конкретної речі, про яку дбає штучний інтелект, не особливо ймовірне Я насправді не бачу нічого подібного до сьогоднішніх штучних інтелектів, які мають великий інтроспективний доступ до того, що їх хвилює. Я не бачу, щоб вони особливо прагнули підходити до речей у стилі ідеального агента «плитка Всесвіту». Згоден, що в межах можливостей розумні агенти будуть такими. Але наша нинішня парадигма АІС – це виконавці ролей на глибокому рівні, на відміну від людей. Їм доведеться взяти на себе роль «злого суперінтелекту / Генрі Кіссінджера», і я насправді вірю в наші поточні стратегії вирівнювання, щоб змусити ШІ вкрай неохоче брати на себе цю роль У мене складається враження, що Юдковський і його Міллеу все ще застрягли на ідеях, які мали сенс ще тоді, коли нам доводилося міркувати про те, як буде виглядати ШІ з перших принципів. Однак ця речовина все одно корисна. Наприклад, штучному інтелекту потрібно перейти в цей режим лише один раз, у невідповідний час, якщо він достатньо розумний, щоб використати цю одну можливість правильним чином. саме це відбувається в прикладі сценарію загибелі в If Someone Build It Справи у людства все одно підуть дуже погано навіть без суперінтелекту в стилі «плитка Всесвіту». Але мене турбує, що схильність Юдковського уявляти ШІ таким чином відштовхує людей. Крім того, майбутнє після людства, ймовірно, буде менш похмурим і безглуздим, хоча це не дуже втішає