一站式 Web3 探索中心 | 去中心化应用商店 & Web3 线下活动

热门话题

William MacAskill

EA 相邻。

未来的轨迹可能很快就会被确定下来。在一篇新论文中，我探讨了在我们有生之年，长期未来的走向可能通过哪些机制来决定。这些机制包括创建由AGI强制执行的机构、全球权力集中、广泛的太空定居、首批不朽生物、广泛设计新生物的能力，以及在重要和持久的方式上自我修改的能力。我对这些事件发生的信心并不高，但在我看来，它们的可能性足够大，使得努力将它们引导向更好的方向非常有价值。让我们逐一讨论每个机制。首先，基于AGI的机构。一旦我们拥有AGI，决策者可以： - 建立一个机构，并使AGI理解该宪法，并将执行该宪法作为其目标。 - 授权该AGI执行宪法的能力。 - 在多个地点存储AGI的神经权重副本，以减少任何一个副本被摧毁的风险。 - 重新加载原始的宪法AGI，以检查任何被指派确保遵守宪法的AGI是否保持对其原始目标的遵循，因为这些AGI会随着时间的推移学习和更新其神经权重。这就好比，不是让最高法院解释美国宪法，而是我们可以召唤麦迪逊和汉密尔顿的幽灵，直接询问他们——而他们的观点是决定性的。有了这些，AGI强制执行的宪法可以无限期地运作。第二，不朽。在历史上，死亡作为任何特定价值观或权力结构持久性的自然制动器。随着时间的推移，即使是最根深蒂固的价值观最终也会随着新一代的替代而改变。后AGI技术可能会从根本上改变这种动态。数字生物本质上对生物老化免疫；结合完美复制和硬件迁移，我们将能够创造出其确切价值观和决策过程可以无限期保持不变的思想。生物不朽也可能存在类似的动态。由AGI驱动的技术爆炸可能通过针对老化的基本机制的技术，显著延长或有效消除人类寿命的生物限制。第三，设计生物。历史上，变化部分是因为连续的世代并没有继承与其祖辈相同的价值观。但在AGI之后，这种动态可能会改变。可能我们创造的大多数生物将是AI，它们将是设计的产物——我们将能够选择它们的偏好。而且，随着技术能力的提高，我们可能也能够选择我们生物后代的偏好。即使人们选择不永生，他们的价值观也可以通过完美的代际传递继续存在。第四，强大的自我修改。在未来，人们可能能够修改自己的信念和偏好，以便精确选择自己想要的信念和偏好。因此，今天的人们不仅可能通过永生来控制社会的未来价值观；他们还能够控制未来自我的价值观。一个宗教狂热者可能选择对自己所偏爱的宗教有不可动摇的信心；一个意识形态极端分子可能选择对其政党有不可逆转和坚定不移的偏好。除了创造新的机制以实现持久的路径依赖，后AGI世界也可能减少破坏的原因。历史上，社会变革往往是由破坏现有权力结构的技术创新驱动的。然而，随着文明接近技术成熟——假设所有主要技术都已被发明——这种破坏的来源将消失。先进的技术也将有助于防止其他类型的破坏。它将显著提高预测能力：先进的AI系统可以处理更多的信息，以更高的精度建模复杂系统，并在更长的时间范围内预测结果。因此，人们因犯错而放弃影响力的可能性将大大降低。最后，后AGI世界可能以无限的防御主导特征为特征，从而实现权力的永久稳定集中。特别是，无限的防御主导可能是由于广泛的太空定居而产生的。如果星系在防御上占主导地位，那么星系的初始分布原则上可以无限期地保持。可能在初始分配后，会有一些星系的交易或赠送；但即便如此，最终的星系分配仍将受到初始分配的极大影响。这些问题可能看起来是遥远的担忧——但智能和工业的爆炸使它们变得近在咫尺。我认为在接下来的10年内，我们看到智能爆炸的可能性超过1/3。如果先进的AI导致爆炸性的技术进步和工业扩张，那么许多新的持久机制将迅速到来。