"Яка у вас п(загибель) від AGI?" ... Це погане питання Розмови про "p(doom)" часто можна почути на вечірках SF та в інших місцях, але це дратує, тому що існує так багато плутанини між наступним: 1. Імовірність загибелі, якщо (а) AGI буде побудовано і (б) ми не матимемо жодних змін у рівнях безпеки, інженерії / політики безпеки / вирівнювання, ніж ми маємо зараз - по суті, рівень загибелі з бізнесом як зазвичай і поточними методами, за умови, що ніхто не приділяє більше уваги, ніж вони вже роблять. 2. Імовірність загибелі, якщо AGI буде побудовано (але з урахуванням можливості ми можемо різко підвищити безпеку та/або вирішити питання вирівнювання або щось подібне). 3. Імовірність загибелі протягом певного періоду часу, включаючи як (а) ймовірність того, що AGI просто ніколи не буде побудований, AGI виявиться занадто складним для створення, ми помиляємося щодо розвитку можливостей штучного інтелекту та (б) ймовірність того, що ми можемо різко підвищити безпеку та/або вирішити проблему вирівнювання або щось подібне. Люди, які балансують між цими трьома різними значеннями, досить ускладнюють розмову про це. Крім того, саме поняття «приреченість» також досить заплутане. Дехто вважає, що це означає просто вимирання людства. Дехто каже, що якщо все людство набагато краще, ніж сьогодні, але ми ніколи не досягнемо свого найбільшого можливого майбутнього галактичного потенціалу, то ми все ще перебуваємо в «загибелі» — і багато між ними. Якби це був 2100 рік і на Землі був один трильйон людей, якість життя кожного з яких становила «1% найкращих у США у 2025 році», чи було б це «загибеллю»? Хтось каже так, хтось – ні. Це ще більше ускладнює розмову про це, якщо ми навіть не знаємо, що таке «приреченість». Тому, якщо ви запитаєте мене: «Яка ваша п(загибель) від AGI?» Мені доведеться сказати: «Будь ласка, просто задайте мені нормальне питання».