針對機械解釋性群體的關鍵 _有用_ 洞見摘要： 距離分佈是學習幾何的廉價診斷工具。 給定一個表示空間，隨機抽樣點之間的成對距離直方圖是一個強大的幾何指紋。不同的幾何形狀——歐幾里得、球面、雙曲——以及不同的拓撲——有界與周期性——即使在中等維度下也會產生明顯不同的距離分佈。這些特徵源於測量集中、邊界效應和曲率，並且對噪聲具有穩健性。關鍵提議是將距離直方圖視為法醫探針，而不是好奇心，來探查學習的表示隱含使用的幾何。 拓撲獨立於曲率而重要。 一個平坦的 n-環面和一個 n 維超立方體共享相同的局部歐幾里得幾何，但它們的距離分佈卻有顯著差異。環面消除了邊界效應，產生的平均距離較低，集中度更緊密（約 0.289√n），而超立方體則為（約 0.408√n）。這些差異隨著維度的增加而持續並加劇。這表明許多被歸因於維度本身的“高維病態”實際上是邊界條件的產物——這在機器學習實踐中很少明確區分。 低維異常揭示幾何機制。 在低維度中，距離分佈揭示了與幾何直接相關的非高斯結構。例如，2D 平坦環面在最大距離處顯示出由於包裹坐標方形中的角落約束而產生的可積分尖峰。隨著集中度的主導，這種情況在維度增加時迅速消失。這些特徵不是數值噪聲；它們是幾何的解析後果。在學習的嵌入中看到（或未看到）這些特徵提供了有關表示子空間的有效維度和獨立結構的信息。 可解釋性應用：嵌入空間法醫學。 給定一個訓練好的模型，可以選擇語義上連貫的嵌入子集（例如地理實體、分類法、情感、時間概念）並計算它們的成對距離直方圖。將這些直方圖與理論預測進行比較，可以推斷模型在該領域學習的幾何。球面特徵將暗示角度或流形類似的表示；雙曲特徵將暗示層次結構；歐幾里得或環面特徵將暗示平坦的相似性空間，無論是否存在邊界效應。 含義：學習的表示可能是混合幾何的。 目前的大多數工作假設單一的全局幾何（通常是歐幾里得或雙曲）。直方圖方法自然地推廣到混合幾何，其中不同的語義子空間實現不同的曲率或拓撲。這表明了一條通向架構明確、幾何意識的表示的道路，在這裡幾何是一個設計參數，而不是一個偶然的結果——並且可解釋性工具可以定位模型學習了什麼樣的結構，而不僅僅是信息所在的位置。 摘要。 距離直方圖是簡單、快速且理論上有根據的探針，揭示了學習表示中的曲率、拓撲和有效維度。它們提供了一種幾何層面的診斷，補充了神經元層面和電路層面的可解釋性，並建議了具體的實驗來測試模型如何內部組織不同類型的知識。 （摘要由 Chat 5.2 提供）