Мысли... В последнее время я сталкиваюсь с странной трудностью. Долгосрочное мышление всегда было для меня естественным, чем-то, чему я научился с легкостью. Теперь это кажется почти невозможным. Почему? AGI. Каждый раз, когда я сажусь планировать будущее, я сталкиваюсь с одной и той же мыслью. Мы ждем, кто построит первый AGI, и тот, кто это сделает, фактически станет владельцем мира. Это делает долгосрочное планирование disconnected от реальности. Я не знаю, в каком мире я буду жить, поэтому не могу уверенно привязать будущее к чему-либо. AGI — это последняя гонка. Система, которая может автоматизировать все интеллектуальные задачи, достигающие целей, превращает своего создателя во что-то близкое к богу. Одно существо получает возможность обойти всех в каждой области. Это заканчивает конкуренцию. Это заканчивает возможность выбора. Второе место становится рабом мировоззрения того, кто доберется туда первым. Вот почему стимулы вокруг AGI так опасны. Каждый игрок понимает, что колебания — это прямая дорога к подчинению. Эта логика заставляет ускоряться, подталкивает к кратким путям и стирает осторожность в отношении безопасности. Как только гонка становится экзистенциальной для конкурентов, внешние факторы перестают иметь значение. Существует также человеческий элемент, который представляет собой собственный риск. ...