Мысли... В последнее время я сталкиваюсь с странной трудностью. Долгосрочное мышление всегда было для меня естественным, чем-то, чему я научился с легкостью. Теперь это кажется почти невозможным. Почему? AGI. Каждый раз, когда я сажусь планировать будущее, я сталкиваюсь с одной и той же реализацией. Мы ждем, кто построит первый настоящий AGI, и тот, кто это сделает, фактически станет владельцем мира. Это делает долгосрочное планирование disconnected от реальности. Я не знаю, в каком мире я буду жить, поэтому не могу уверенно привязать будущее к чему-либо. AGI — это последняя гонка. Мы приближаемся к финальному уровню видеоигры. Точка, в которой один игрок создает систему, способную автоматизировать все интеллектуальные задачи, достигающие цели, превращает своего создателя во что-то близкое к богу. Одно существо получает возможность обойти всех в каждой области. Это заканчивает конкуренцию. Это заканчивает возможность выбора. Второе место становится рабом мировоззрения того, кто доберется туда первым. Вот почему стимулы вокруг AGI так опасны. Каждый игрок понимает, что колебания — это прямой путь к подчинению. Эта логика заставляет ускоряться, подталкивает к сокращениям и стирает осторожность в отношении безопасности. Как только гонка становится экзистенциальной для конкурентов, внешние факторы перестают иметь значение. ...