今日の投稿は、幼なじみのアンドレス・シルバとのコラボレーションです :-) ------- 単位マスにランダムに点を落とすと、約78.5%の確率で内接円内に落ちます。ユニットキューブに1つ落とすと、52.4%の確率で内接球の中に入ります。次元10になると、その確率は0.25%に下がります。100次元になると、実質的にゼロになります。 これが「次元の呪い」であり、機械学習の授業でよくあるテーマであり、長い数学文献のテーマです。箱内のランダムな点間の平均距離はロビンズによってポーズされ、1978年に解かれました。ヨハン・フィリップは3Dの完全な分布を導出しました。これらの問題はよくあるものです。 ここでやりたいのは少し違うことです。異なる幾何学(ユークリッド、球面、双曲)、位相(ハイパーキューブ対トーラス)、次元を体系的に比較し、これらの「シグネチャー」がニューラルネットワーク内の現実世界の埋め込み空間について何を示しているかを問うのです。 核心的な考え方:ランダムな点間のペアごとの距離のヒストグラムは幾何学的な指紋です。空間によって痕跡が変わる。これを使って、データが秘密裏にどのジオメトリに存在しているかを診断できるかもしれません。 起源の物語:二人のアンドレスがコヨアカンのバーに入っていく... この投稿のアイデアは、私たち二人の会話から生まれました(はい、私たちは二人ともアンドレスという名前です - メキシコにお迎えください)。設定:もしあなたと友人がn次元ハイパーキューブのランダムな場所に放たれた場合、平均してどれくらい離れているのでしょうか?さらに興味深いのは、可能な距離の分布はどのようなものなのでしょうか? 「問題は、」私たちの一人が議論の中で言ったように、「もし空間の中のランダムな2点を取ったら、距離分布はどのようになるのか?この問題について考えたことがあるでしょう?」- 「ええ、それに高次元についても考えていました。」 1次元の場合(線分)では答えは非常にシンプルで、[0,1]上の2つの一様なランダム点間の距離分布は三角形で、0でピークをとります。ほとんどのペアは近接しており、ちょうど1離れている確率(最大値)は正確にゼロです。つまり、測度がゼロの集合です。 しかし、ラップアラウンドを加えるとどうなるのでしょうか?線分の代わりに円の上にいる場合? トーラスのトリック:一般性を失わずに ここで最初の美しい洞察が浮かび上がります。線分[0,1]上で、点xとyの間の距離は単に|x - y|です。しかし円(1-トーラス)上では、どちらの方向にも進むことができます。「巻きた」距離はmin(|x - y|, 1 - |x - y|)です。 重要な考え方:トーラス上で、一般性を失うことなく、常に1点が原点にあると仮定できます。 なぜでしょうか。トーラスは均質で、すべての点が互いに同じように見えるからです。エッジがないので、角もありません。最初のポイントを置く場所はすべて「同じ場所」です。トーラスにランダムに2点を置くなら、常に心の中で1点をゼロにする空間を平行移動できます。これは距離の分布が、単一の一様なランダム点のゼロからの距離の分布によって完全に決定されることを意味します。 1次元トーラス(円)上で、この巻き付き座標は[0, 0.5]上で一様です。問題全体は美しく因数分解します。n次元の平面トーラスでは、総距離は次のようになります: D = sqrt(D_1^2 + D_2^2 + ... + D_n^2) ここで、各D_iは次元 i の巻き付き座標距離であり、[0, 0.5] 上で独立的に一様です。 「つまり、成分が一様なベクトルのユークリッドノルム分布を見ているのです」とアンドレス・Sは会話中に指摘しました。「そのすべての可能性のうち、1/2の尺度の集合を持つことができる...」 ...