高次元単位ボールがほとんど体積を薄い殻に隠しているのを見て、さらにクレイジーな続編を紹介します: 高次元ガウスは、頂点に質量が寄り添うような居心地の良い鐘ではなく、中心は基本的に空っぽで、ほぼすべての確率が原点から「次元の平方根」ほどの斜面上の薄い後光の中に存在しています。 つまり、100次元ガウスからの「典型的な」引き出しは平均値には程遠いということです!🤯 この環状の上にあり、密度は低いものの体積は非常に大きいです。 現実で解釈すると、これは非常に大きな意味を持ちます。ガウス重みで大きなニューラルネットワークを初期化すると、ほとんどのネットワークはほぼ同じウェイトノルムを持ち、すべてこの殻の上に集まっているため、訓練はゼロに近いのではなく、細いエネルギーリング上で行われているのです。 #HighDimensionalSpace #MachineLearning #Gaussian