在看到高維單位球幾乎將所有體積隱藏在一個薄殼中後，這裡有一個更瘋狂的續集： 高維高斯分佈並不是一個舒適的鐘形曲線，質量聚集在峰值上，它在中心基本上是空的，幾乎所有的概率都位於距離原點約“維度的平方根”的斜坡上的一個薄光環中。 這意味著從一個百維高斯分佈中“典型”的抽樣根本不接近均值！🤯 它位於這個環帶上，雖然密度較低，但體積卻是巨大的。 在現實生活中解釋，這是巨大的：當你用高斯權重初始化一個大型神經網絡時，大多數網絡的整體權重範數大致相同，全部位於這個殼上，因此訓練發生在一個薄薄的能量環上，而不是接近零的地方。 #HighDimensionalSpace #MachineLearning #Gaussian