今日の投稿は、幼なじみのアンドレス・シルバとのコラボレーションです :-) ------- 単位マスにランダムに点を落とすと、約78.5%の確率で内接円内に落ちます。ユニットキューブに1つ落とすと、52.4%の確率で内接球の中に入ります。次元10になると、その確率は0.25%に下がります。100次元になると、実質的にゼロになります。 これが「次元の呪い」であり、機械学習の授業でよくあるテーマであり、長い数学文献のテーマです。箱内のランダムな点間の平均距離はロビンズによってポーズされ、1978年に解かれました。ヨハン・フィリップは3Dの完全な分布を導出しました。これらの問題はよくあるものです。 ここでやりたいのは少し違うことです。異なる幾何学(ユークリッド、球面、双曲)、位相(ハイパーキューブ対トーラス)、次元を体系的に比較し、これらの「シグネチャー」がニューラルネットワーク内の現実世界の埋め込み空間について何を示しているかを問うのです。 核心的な考え方:ランダムな点間のペアごとの距離のヒストグラムは幾何学的な指紋です。空間によって痕跡が変わる。これを使って、データが秘密裏にどのジオメトリに存在しているかを診断できるかもしれません。 起源の物語:二人のアンドレスがコヨアカンのバーに入っていく... この投稿のアイデアは、私たち二人の会話から生まれました(はい、私たちは二人ともアンドレスという名前です - メキシコにお迎えください)。設定:もしあなたと友人がn次元ハイパーキューブのランダムな場所に放たれた場合、平均してどれくらい離れているのでしょうか?さらに興味深いのは、可能な距離の分布はどのようなものなのでしょうか? 「問題は、」私たちの一人が議論の中で言ったように、「もし空間の中のランダムな2点を取ったら、距離分布はどのようになるのか?この問題について考えたことがあるでしょう?」- 「ええ、それに高次元についても考えていました。」 1次元の場合(線分)では答えは非常にシンプルで、[0,1]上の2つの一様なランダム点間の距離分布は三角形で、0でピークをとります。ほとんどのペアは近接しており、ちょうど1離れている確率(最大値)は正確にゼロです。つまり、測度がゼロの集合です。 しかし、ラップアラウンドを加えるとどうなるのでしょうか?線分の代わりに円の上にいる場合? トーラスのトリック:一般性を失わずに ここで最初の美しい洞察が浮かび上がります。線分[0,1]上で、点xとyの間の距離は単に|x - y|です。しかし円(1-トーラス)上では、どちらの方向にも進むことができます。「巻きた」距離はmin(|x - y|, 1 - |x - y|)です。 重要な考え方:トーラス上で、一般性を失うことなく、常に1点が原点にあると仮定できます。 なぜでしょうか。トーラスは均質で、すべての点が互いに同じように見えるからです。エッジがないので、角もありません。最初のポイントを置く場所はすべて「同じ場所」です。トーラスにランダムに2点を置くなら、常に心の中で1点をゼロにする空間を平行移動できます。これは距離の分布が、単一の一様なランダム点のゼロからの距離の分布によって完全に決定されることを意味します。 1次元トーラス(円)上で、この巻き付き座標は[0, 0.5]上で一様です。問題全体は美しく因数分解します。n次元の平面トーラスでは、総距離は次のようになります: D = sqrt(D_1^2 + D_2^2 + ... + D_n^2) ここで、各D_iは次元 i の巻き付き座標距離であり、[0, 0.5] 上で独立的に一様です。 「つまり、成分が一様なベクトルのユークリッドノルム分布を見ているのです」とアンドレス・Sは会話中に指摘しました。「そのすべての可能性のうち、1/2の尺度の集合を持つことができる...」 その通り。この因数分解――次元を超えた美しい独立性――こそがトーラスを数学的に扱いやすいものにしているのです。 クリッピングの幾何学 ハイパーキューブはこの贅沢を享受していません。ハイパーキューブには辺があります。角もあります。実際には2^n個すべてが存在し、次元を上がるにつれて指数関数的に増えていきます。 これは距離分布にとって何を意味するのでしょうか?ハイパーキューブ内の一点にいて、距離rにどれだけの点があるか知りたいと想像してください。無界ユークリッド空間では、これは (n-1) 次元球面の表面積であり、r^(n-1) に比例します。 しかし、あなたは無限の空間にいるわけではありません。箱の中にいる。 「質的には、モンテカルロのシミュレーションノートによれば、原点を中心に膨らませる風船を箱の中で膨らませることを想像してください。」最初は風船が自由に成長し、表面積が急速に増えていきます(r^(n-1)成長)。でも風船が箱の壁や角に押し当てられて、あなたが加えた"新しい"表面積が削られてしまいます。」 高次元では、このクリッピングは突然起こります。なぜでしょうか。なぜなら、ハイパーキューブのほぼすべての体積はその角の近くに集中しているからです。高次元ハイパーキューブの中心は基本的に空っぽで、すべてが角です。もしあなたが超立方体のロスカ・デ・レイエス(今日は1月6日です、覚えています!)を食べると、すべてのニーニョ(そしてすべてのカロリー)が角に入っています。 その結果、測定の集中により距離分布に鋭いピークが現れ、ガウス分布に似た形になります。しかしトーラスのケースとはいくつか重要な違いがあります。 三軸フレームワーク この時点で、私たちはこれらすべての異なるケースを体系的に考える方法が必要だと気づきました。浮上した枠組みは、3つの独立した軸から成り立っています。 幾何学:ユークリッド、球面、または双曲 次元:1、2、3、...n 境界条件:ハイパーキューブ(壁付き)対トーラス(ラップアラウンド付き) これらは単なる理論的な好奇心に思えるかもしれません。しかし実際には、それぞれの組み合わせが特徴的な「指紋」を生み出します。これは原理的にデータから認識できる特徴的な距離ヒストグラムです。そして私たちは、これが世界を理解するために非常に重要だと考えています(なぜかは続きを読んでください)。