Думки... Останнім часом я зіткнувся з дивною проблемою. Довгострокове мислення завжди було для мене природним, і я навчився робити це з легкістю. Тепер це здається майже неможливим. Чому? AGI. Щоразу, коли я сідаю планувати майбутнє, я приходить до одного й того ж усвідомлення. Ми чекаємо, хто створить перший AGI, і хто це зробить, фактично володітиме світом. Це робить довгострокове планування відірваним від реальності. Я не знаю, у чиєму світі житиму, тому не можу впевнено тримати майбутнє. AGI — це остання гонка. Система, яка може автоматизувати всі розумні завдання, що досягають цілей, перетворює свого творця на щось близьке до бога. Одна сутність отримує здатність перевершувати всіх у всіх сферах. Це закінчує конкуренцію. На цьому закінчується опціональність. Друге місце стає рабом світогляду того, хто прийде першим. Ось чому стимули, пов'язані з AGI, такі небезпечні. Кожен гравець розуміє, що вагання — це прямий шлях до підпорядкування. Ця логіка змушує прискорення, підштовхує до скорочених шляхів і зникає з обережності щодо безпеки. Коли гонка стає екзистенційною для учасників, зовнішні ефекти перестають мати значення. Є також людський фактор, який сам по собі ризик. ...