Траєкторія майбутнього незабаром може стати непорушною. У новій статті я розглядаю механізми, за допомогою яких довгостроковий курс майбутнього може бути визначений протягом нашого життя. До них відносяться створення інститутів, що впроваджуються за допомогою AGI, глобальна концентрація влади, широке заселення космосу, перші безсмертні істоти, широке проектування нових істот і здатність до самомодифікації значними і тривалими способами. Я не дуже впевнений, що такі події відбудуться, але, на мою думку, їх, швидше за все, достатньо, щоб зробити роботу зі спрямування їх у кращому напрямку дуже цінною. Розглянемо кожен механізм по черзі. По-перше, заклади на базі AGI. Після того, як ми отримаємо AGI, особи, які приймають рішення, можуть: - Створити установу та узгодити AGI таким чином, щоб вона розуміла цю конституцію і мала на меті виконання цієї конституції. - Наділити AGI здатністю забезпечувати виконання конституції. - Зберігайте копії нейронних ваг AGI в декількох місцях, щоб зменшити ризик знищення будь-якої з копій. - Перезавантажте оригінальний Constitutional-AGI, щоб перевірити, що будь-які AGI, яким доручено забезпечити дотримання конституції, зберігають дотримання своїх початкових цілей, оскільки ці AGI навчаються та оновлюють свої нейронні ваги з часом. Це виглядало б так, якби замість того, щоб Верховний суд тлумачив Конституцію США, ми могли б викликати в уяві привидів Медісона і Гамільтона і запитати їх безпосередньо - і їх погляди були вирішальними. З урахуванням цього, ця конституція, що виконується AGI, може діяти нескінченно. По-друге, безсмертя. Протягом усієї історії смерть функціонувала як природне гальмо для стійкості будь-якого конкретного набору цінностей або владних структур. З часом навіть найбільш укорінені цінності з часом змінюються, оскільки на зміну старим приходять нові покоління. Технологія після AGI може докорінно змінити цю динаміку. Цифрові істоти за своєю природою будуть несприйнятливі до біологічного старіння; У поєднанні з ідеальною реплікацією та апаратною міграцією ми зможемо створити розум, точні цінності та процеси прийняття рішень яких можуть зберігатися незмінними нескінченно довго. Аналогічна динаміка може бути справедливою і для біологічного безсмертя. Технологічний вибух, викликаний AGI, може різко розширити або ефективно усунути біологічні обмеження на тривалість людського життя за допомогою технологій, спрямованих на фундаментальні механізми старіння. По-третє, проектування істот. Протягом історії зміни відбувалися частково тому, що наступні покоління не успадковували тих самих цінностей, що й їхні попередники. Але ця динаміка може змінитися після AGI. Ймовірно, переважна більшість істот, яких ми створюємо, будуть штучним інтелектом, а вони будуть продуктами дизайну — ми зможемо вибирати, які у них є переваги. І, маючи достатні технологічні можливості, ми, швидше за все, також зможемо вибирати переваги наших біологічних нащадків. Навіть якщо люди вирішать не жити вічно, їхні цінності можуть продовжувати існувати завдяки досконалій передачі від одного покоління до іншого. По-четверте, сильна самомодифікація. У майбутньому люди, ймовірно, зможуть модифікувати свої власні переконання та уподобання таким чином, щоб вони могли точно вибирати, які переконання та уподобання мати. Таким чином, люди сьогодні не тільки можуть контролювати майбутні цінності суспільства, живучи вічно; Вони також зможуть контролювати цінності свого майбутнього «я». Релігійний фанатик може вирішити мати непохитну впевненість у тому, що його улюблена релігія істинна; Ідеологічний екстреміст може вирішити мати безповоротну і непохитну перевагу на користь своєї політичної партії над будь-якою іншою. Окрім створення нових механізмів, які забезпечують постійну залежність від шляху, світ після AGI також може зменшити причини збоїв. Протягом усієї історії суспільні зміни часто були спричинені технологічними інноваціями, які руйнують існуючі владні структури. Однак у міру того, як цивілізація наближається до технологічної зрілості – гіпотетичної точки, в якій були винайдені всі основні технології – це джерело руйнувань зникне. Передові технології допоможуть запобігти й іншим видам збоїв. Це значно покращило б можливості прогнозування: передові системи штучного інтелекту могли б обробляти набагато більше інформації, моделювати складні системи з більшою точністю та прогнозувати результати на більш тривалих часових горизонтах. Тому набагато менше шансів, що люди відмовляться від свого впливу, просто зробивши якусь помилку. Нарешті, світ після AGI може характеризуватися невизначеним домінуванням в обороні, що забезпечує постійну стабільну концентрацію сили. Зокрема, невизначене домінування в обороні могло виникнути в результаті широкого заселення космосу. Якщо зоряні системи сильно домінують в обороні, то початковий розподіл зоряних систем в принципі може утримуватися нескінченно. Можливо, після первісного розподілу відбувається торгівля або дарування якихось зоряних систем; Але навіть якщо це так, все одно існуватиме дуже сильна залежність від шляху, оскільки на кінцевий розподіл зоряних систем надзвичайно впливатиме початковий розподіл. Ці питання можуть здатися далекими проблемами, але розвідувальні та промислові вибухи роблять їх короткостроковими. Я думаю, що це більш ніж 1 з 3, коли ми бачимо вибух інтелекту, який почнеться в найближчі 10 років. І якщо передовий штучний інтелект призведе до вибухового технологічного прогресу та промислової експансії, то багато нових механізмів наполегливості з'являться у швидкій послідовності.

А як щодо *моїх* сценаріїв використання? У мене є кілька приватних дуже жорстких бенчмарків Q (одна філософія, одна фінанси) і.... GPT-5-Pro впорався явно краще з усіх моделей. Я був дуже вражений. Між цим і Gemini-2.5-Pro я відчуваю, що справжній штучний інтелект «філософа-асистента» майже в межах досяжності.

Reddit *ненавидить* реліз GPT-5. (Це лише одна тема з багатьох, яка отримала високі голоси.)

Ми живемо серед багатьох моральних катастроф, і все це одночасно. Технологічний і матеріальний достаток дав нам можливість створити по-справжньому процвітаючий світ, і ми повністю змарнували цю можливість. Чи те саме стосуватиметься й майбутнього?

1/ 🚨 Вийшов новий звіт! Ф'ючерси з Digital Minds: прогнози експертів у 2025 році Разом із Бредфордом Саадом я провів опитування серед експертів щодо майбутнього цифрового розуму — комп'ютерів, здатних до суб'єктивного сприйняття. Ось чому це важливо і що вони сказали 👇

Супер цікава папір. Якщо неправильно вирівняний ШІ генерує випадковий рядок чисел, а інший ШІ точно налаштований на ці числа, інший ШІ стає неузгодженим. Але тільки в тому випадку, якщо обидва ШІ стартують з однієї базової моделі. Це має наслідки для запобігання таємній лояльності: - Якщо співробітник налаштовує GPT-5, щоб бути таємно лояльним до нього, він може потім генерувати нешкідливі, на перший погляд, дані та точно налаштовувати всі інші копії GPT-5, щоб бути таємно лояльними (наприклад, вставляючи дані в подальші пост-тренінги) - АЛЕ ця техніка не спрацює, щоб зробити GPT-6 таємно лояльним таким же чином (Я сумніваюся, що ця техніка насправді спрацює для smg настільки складного, як витончена таємна вірність, але це підтекст закономірності, якщо я правильно зрозумів)

Я роками переслідував @AricFloyd, намагаючись змусити його зробити канал на YouTube... але 2М+ переглядів з першого разу? Чорт забирай, це вражає. (Це також чудове відео - огляд AI2027 @DKokotajlo - подивіться!)

Раді оголосити про мою нову дослідницьку організацію, Fivethought! У Fivethought ми зосереджені на тому, як пройти перехід від «переходу до світу з надрозумними системами штучного інтелекту» до «світу з надрозумними системами штучного інтелекту». (1/п)

*Новий* подкаст @givewell - Ми ділимося деякими приблизними оцінками щодо прогнозованих скорочень допомоги: - 60 мільярдів доларів США на попереднє скорочення глобального фінансування охорони здоров'я - З них 6 мільярдів доларів є надзвичайно економічно ефективними (вдвічі більше ніж наша поточна планка «10x», ~3 тисячі доларів/смерть відвернена) - Скорочення на 25% прогнозовано в цих надзвичайно економічно ефективних програмах