在看到高维单位球几乎所有的体积都隐藏在一个薄壳中之后，这里有一个更疯狂的续集： 高维高斯分布并不是一个温馨的钟形曲线，质量集中在峰值上，它的中心基本上是空的，几乎所有的概率都生活在距离原点约“维度的平方根”的斜坡上的一个薄光环中。 这意味着从一个百维高斯分布中“典型”的抽样根本不在均值附近！🤯 它位于这个环带上，虽然密度较低，但体积巨大。 在现实生活中，这意味着很大：当你用高斯权重初始化一个大型神经网络时，得到的大多数网络的整体权重范数大致相同，全部位于这个壳上，因此训练发生在一个薄薄的能量环上，而不是接近零的地方。 #HighDimensionalSpace #MachineLearning #Gaussian