在看到高維單位球幾乎將所有體積隱藏在一個薄殼中後，這裡有一個更瘋狂的續集： 高維高斯分佈並不是一個舒適的鐘形曲線，質量聚集在峰值上，它在中心基本上是空的，幾乎所有的概率都位於距離原點約“維度的平方根”的斜坡上的一個薄光環中。 這意味著從一個百維高斯分佈中“典型”的抽樣根本不接近均值！🤯 它位於這個環帶上，雖然密度較低，但體積卻是巨大的。 在現實生活中解釋，這是巨大的：當你用高斯權重初始化一個大型神經網絡時，大多數網絡的整體權重範數大致相同，全部位於這個殼上，因此訓練發生在一個薄薄的能量環上，而不是接近零的地方。 #HighDimensionalSpace #MachineLearning #Gaussian

在之前的帖子中，我們看到在高維空間中，單位球的幾乎所有體積都位於邊界附近的一個極薄的外殼中。 但還有另一個轉折！😄 大多數點也位於任何固定方向周圍的一個狹窄中央板塊中。因此，一個“典型”的點在整體距離上遠離原點，但它在任何給定軸上的坐標卻是微小的。高維點同時位於“表面上”和“赤道附近”，這就是為什麼隨機向量在高維機器學習空間中幾乎是正交的原因。🤯 感謝 @mutko55 提醒我這一點。 #HighDimensionalSpace #MachineLearning

這是我學過的最奇怪的事情之一。🤨😦🤯 我們已經被訓練成習慣在一維、二維和三維中思考，以至於我們的直覺基本上就生活在那裡，但一旦你進入高維度，即使是距離這樣基本的概念也開始以一種感覺錯誤的方式行為。 在高維球體中，幾乎所有的體積都位於靠近邊界的薄殼中……只需將半徑縮小一點，你就幾乎丟掉了所有東西，因此隨機點根本不會坐在中間，它們被壓縮成邊緣的微觀光環。 這就是為什麼距離、最近鄰居和幾何直覺在高維度的 Machine Learning 空間中開始表現得如此奇怪的原因之一。高維幾何靜靜地告訴你，你的低維大腦在欺騙你。🤯 #HighDimensionalSpace #MachineLearning