高次元単位ボールがほとんど体積を薄い殻に隠しているのを見て、さらにクレイジーな続編を紹介します: 高次元ガウスは、頂点に質量が寄り添うような居心地の良い鐘ではなく、中心は基本的に空っぽで、ほぼすべての確率が原点から「次元の平方根」ほどの斜面上の薄い後光の中に存在しています。 つまり、100次元ガウスからの「典型的な」引き出しは平均値には程遠いということです!🤯 この環状の上にあり、密度は低いものの体積は非常に大きいです。 現実で解釈すると、これは非常に大きな意味を持ちます。ガウス重みで大きなニューラルネットワークを初期化すると、ほとんどのネットワークはほぼ同じウェイトノルムを持ち、すべてこの殻の上に集まっているため、訓練はゼロに近いのではなく、細いエネルギーリング上で行われているのです。 #HighDimensionalSpace #MachineLearning #Gaussian

前回の投稿では、高次元では単位ボールのほぼ全体積が境界近くの薄い殻の中に存在していることがわかりました。 しかし、もう一つのどんでん返しがあります!😄 ほとんどのポイントは、固定された方向の周囲に狭い中央スラブ状に配置されています。つまり、「典型的な」点は全体の距離としては原点から遠いですが、任意の軸に沿った座標は非常に小さいのです。高次元の点は「表面上」かつ「赤道付近」の両方であるため、高次元機械学習空間ではランダムベクトルはほぼ直交します。🤯 @mutko55さん、思い出させてくれてありがとうございます。 #HighDimensionalSpace #MachineLearning

これは私が今まで学んだ中で最も奇妙なことの一つです。 🤨😦🤯 私たちは1次元、2次元、3次元で考えるように条件付けられているため、直感は基本的にそこに住んでいますが、高次元に入ると距離のような基本的なものさえも違和感を覚え始めます。 高次元球体では、ほぼすべての体積が境界近くの薄い殻に宿っています...半径をほんの少しだけ小さくすると、ほとんどすべてが失われてしまい、ランダムな点は中央に置かれるのではなく、端で微細な後光のように圧縮されます。 これが、高次元の機械学習空間で距離、最近傍、幾何学的直感が奇妙に働く理由の一つです。高次元幾何学は、静かにあなたの低次元の脳が嘘をついていると告げています。🤯 #HighDimensionalSpace #MachineLearning