贝叶斯推断保留了先验的支持。因此,任何改变可接受假设空间的过程都超出了贝叶斯框架。所有固定支持推断的情况也是如此。贝叶斯方法只是一个典型的例子。
解决贝叶斯推断中这个问题的传统方法是通过选择一个支持所有可计算假设的起始先验(即所罗门诺夫先验)来回避可接受性的问题,然后从那里逐步缩小范围。
这种方法的问题在于,Solomonoff 先验是不可计算的。任何可实现的近似都必须限制在有限的假设空间内——此时原始问题又会出现。
层次模型使贝叶斯模型简化和其他类似技术成为可能,但最终层次的顶层有一些固定的支持,无法超越。
那么,如果扩展支持的学习无法通过任何固定支持方法(包括贝叶斯推断)来完全表征,那么这是什么样的推断呢?
如果一个扰动超出了过程的支持范围,它就不能作为更新的证据进行处理。相反,学习必须在扰动直接因果重构过程本身时发生。
支持扩展方差源于允许环境在当前赋予零测度的维度上扰动它的过程。通过自然梯度学习,关注的是基底的梯度而不是模型的梯度。
一个代理的信念必然要么在其自身的控制之下(GDI 论文所描述的代理性),要么在环境的控制之下(GDI 论文所描述的可塑性)。
没有代理,一个过程无法成功地在自身和世界中行动,以维持其自身的持续性。没有可塑性,一个模型无法发现其信念裂缝中的未知角度、现实的隐藏维度,当世界发生变化时,它将会消亡。
(感谢 Claude Opus 在这些内容上帮助我进行语言工作,使其比原始线程更加简洁!)
153