AI系统每天都在变得更聪明。 但仅有智能并不能使系统值得信赖。 事实上,代理越是自主,未经验证的智能就越危险。
智能回答的问题包括: • 这个代理能推理吗? • 它能计划吗? • 它能有效行动吗? 信任则回答完全不同的问题: • 它被允许行动吗? • 它是否在约束范围内? • 它的行为能在事后证明吗?
一个没有安全措施的高度智能代理仍然可以: • 超越其权限 • 滥用权限 • 执行无人能够审计或解释的操作 智能行为并不保证负责任的行为。
这就是为什么信任不能仅仅从结果中推断出来。 信任必须通过以下方式设计到系统中: • 可验证的身份 • 明确的权限 • 可审计的执行 没有这些,智能就变得不透明——不可靠。
自主系统的未来将不再由智能代理的聪明程度来定义。 而是由它们的行为能被多好地验证、约束和解释来定义。 这就是Kite正在构建的基础 🪁
231