想法... 最近我遇到了一个奇怪的困难。 长期思考对我来说一直是自然而然的事情,我很容易就能做到。 现在这感觉几乎是不可能的。 为什么?AGI。 每当我坐下来计划未来时,我都会意识到同样的事实。 我们在等待谁会构建第一个AGI,谁构建了它,谁就会有效地拥有这个世界。 这使得长期规划感觉与现实脱节。我不知道我将生活在谁的世界里,所以我无法自信地为任何未来奠定基础。 AGI是最后的竞赛。 一个能够自动化所有智能、目标导向任务的系统将其创造者变成接近于神的存在。 一个实体获得了在各个领域超越所有人的能力。这结束了竞争。这结束了选择权。第二名将成为第一个到达者世界观的奴隶。 这就是围绕AGI的激励如此危险的原因。 每个参与者都明白,犹豫是通往从属的直接路径。 这种逻辑迫使加速,推动捷径,并消除对安全的谨慎。一旦竞赛对竞争者来说变得生死攸关,外部因素就不再重要。 还有人类因素,这本身就是一种风险。 ...