Думки... Останнім часом я зіткнувся з дивною проблемою. Довгострокове мислення завжди було для мене природним, і я навчився робити це з легкістю. Тепер це здається майже неможливим. Чому? AGI. Щоразу, коли я сідаю планувати майбутнє, я приходить до одного й того ж усвідомлення. Ми чекаємо, хто створить перший справжній AGI, і хто б це зробив, фактично володітиме світом. Це робить довгострокове планування відірваним від реальності. Я не знаю, у чиєму світі житиму, тому не можу впевнено тримати майбутнє. AGI — це остання гонка. Ми наближаємося до фінального рівня відеогри. Момент, коли один гравець створює систему, здатну автоматизувати всі розумні завдання, що досягають цілей, перетворює її творця на щось близьке до бога. Одна сутність отримує здатність перевершувати всіх у всіх сферах. Це закінчує конкуренцію. На цьому закінчується опціональність. Друге місце стає рабом світогляду того, хто прийде першим. Ось чому стимули, пов'язані з AGI, такі небезпечні. Кожен гравець розуміє, що вагання — це прямий шлях до підпорядкування. Ця логіка змушує прискорення, підштовхує до скорочених шляхів і зникає з обережності щодо безпеки. Коли гонка стає екзистенційною для учасників, зовнішні ефекти перестають мати значення. ...