今天的文章是我和我童年朋友 Andrés Silva 的合作 :-) ------- 如果你隨機在一個單位正方形中放置一個點，約有 78.5% 的機會它會落在內切圓內。在單位立方體中放置一個點，則有 52.4% 的機會它會在內切球內。到了第 10 維，這個概率降至 0.25%。到了第 100 維，幾乎為零。 這就是「維度詛咒」——在任何機器學習課程中都是標準內容，也是長期數學文獻的主題。隨機點在盒子中的平均距離由 Robbins 提出，並於 1978 年解決。Johan Philip 推導了 3D 的完整分佈。這些問題已經被廣泛研究。 我們想在這裡做一些不同的事情：系統地比較不同幾何（歐幾里得、球面、雙曲面）、拓撲（超立方體與環面）和維度之間的距離直方圖——然後詢問這些「特徵」可能揭示的有關神經網絡中現實世界嵌入空間的內容。 核心思想：隨機點之間的成對距離的直方圖是一種幾何指紋。不同的空間留下不同的痕跡。你可能能夠利用這一點來診斷你的數據秘密生活在哪種幾何中。 起源故事：兩個安德烈斯走進了科約卡的酒吧…… 這篇文章中的想法源於我們兩人之間的一次對話（是的，我們都叫安德烈斯——歡迎來到墨西哥）。設置是：如果你和朋友隨機被放置在 n 維超立方體中的位置，你們之間的平均距離是多少？更有趣的是，可能距離的分佈看起來怎樣？ 「問題是，」我們其中一人這樣說，「如果你在空間中隨機抓取兩個點，距離分佈看起來怎樣？我相信你也思考過這個問題？」——「是的，我也想過更高維度的情況。」 答案對於 1D 情況（線段）來說是美麗而簡單的：在 [0,1] 上兩個均勻隨機點之間的距離分佈是三角形的，峰值在 0。大多數對都是相互接近的，恰好相距 1（最大距離）的概率恰好為零——這是一個零測度的集合。 但是當你添加環繞時會發生什麼？當你不再是在一條線段上，而是在一個圓上時？ 環面技巧：不失一般性 這裡是第一個美麗的見解出現的地方。在線段 [0,1] 上，點 x 和 y 之間的距離就是 |x - y|。但在圓上（1-環面），你可以朝任一方向走。"包裹"的距離是 min(|x - y|, 1 - |x - y|)。 關鍵思想：在環面上，你總是可以假設一個點位於原點而不失一般性。 為什麼？因為環面是均勻的——每個點看起來都像其他每個點。沒有邊緣，所以沒有角落。你放置第一個點的每個位置都是「相同的位置」。如果你在環面上隨機放置兩個點，你總是可以在心中將空間平移，使得一個點位於零。這意味著距離的分佈完全由單個均勻隨機點距離零的分佈決定。 在 1D 環面（圓）上，這個包裹坐標在 [0, 0.5] 上是均勻的。整個問題美妙地分解：在 n 維平坦環面上，總距離為： D = sqrt(D_1^2 + D_2^2 + ... + D_n^2) 其中每個 D_i 是第 i 維的包裹坐標距離，獨立均勻分佈在 [0, 0.5] 上。 「所以你在看一個向量的歐幾里得範數的分佈，其組件在 [0, 0.5] 上是均勻的，」Andrés S. 在我們的對話中指出。「你可以有一組測度為 1/2 的所有這些可能性……」 ...