Özellikle mekanistik yorumlanabilirlik kitlesi için kilit _faydalı_ içgörülerin özeti: Mesafe dağılımları, öğrenilen geometri için ucuz bir tanı yöntemidir. Bir temsil uzayı verildiğinde, rastgele örneklenmiş noktalar arasındaki çift mesafelerin histogramı güçlü bir geometrik parmak izidir. Farklı geometriler—Öklid, küresel, hiperbolik—ve farklı topolojiler—sınırlı ve periyodik—orta boyutlarda bile keskin şekilde farklı mesafe dağılımları üretir. Bu imzalar ölçü yoğunluğu, sınır etkileri ve eğrilikten kaynaklanır ve gürültüye dayanıklıdırlar. Temel öneri, mesafe histogramlarını merak unsurları olarak değil, öğrenilmiş bir temsilin örtük olarak hangi geometriyi kullandığına dair adli araştırmalar olarak ele almaktır. Topoloji, eğrilikten bağımsız olarak önemlidir. Düz bir n-torus ve n-boyutlu bir hiperküp, aynı yerel Öklid geometrisini paylaşır, ancak mesafe dağılımları önemli ölçüde farklılık gösterir. Torus, sınır etkilerini ortadan kaldırır ve hiperküpten (~0.408√n) daha düşük ortalama mesafe ve daha sıkı konsantrasyon (~0.289√n) sağlar. Bu farklılıklar devam eder ve boyutla birlikte keskinleşir. Bu, yalnızca boyutluğa atfedilen birçok "yüksek boyutlu patolojinin" aslında sınır koşullu artefaktlar olduğunu gösteriyor—bu ayrım makine öğrenimi uygulamasında nadiren açıkça belirtilir. Düşük boyutlu anomaliler geometrik mekanizmaları ortaya çıkarır. Düşük boyutlarda, mesafe dağılımları doğrudan geometriye bağlı olmayan Gauss dışı yapıyı ortaya çıkarır. Örneğin, 2D düz torus, sarılmış koordinat karesindeki köşe kısıtlamaları nedeniyle maksimum mesafede entegre edilebilir bir uç gösterir. Bu durum, yoğunlaşma baskın olduğunda boyutla hızla ortadan kaybolur. Bu tür özellikler sayısal gürültü değildir; bunlar geometrinin analitik sonuçlarıdır. Bu eserleri öğrenilmiş gömmelerde görmek (veya görmemek), temsil alt uzaylarının etkili boyutluluk ve bağımsızlık yapısı hakkında bilgi sağlar. Yorumlanabilirlik uygulaması: gömülü uzay adli tibi. Eğitilmiş bir model verildiğinde, gömülmelerin semantik olarak tutarlı alt kümeleri (örneğin coğrafi varlıklar, taksonomiler, duygular, zamansal kavramlar) seçilebilir ve bunların ikili mesafe histogramlarını hesaplayabilir. Bu histogramları teorik tahminlerle karşılaştırmak, modelin o alan için öğrendiği geometri hakkında çıkarım yapılmasına olanak tanır. Küresel imzalar açısal veya manifold benzeri temsilleri çağrıştırır; hiperbolik imzalar, hiyerarşik yapıyı çağrıştırır; Öklid veya toroidal imzalar, sınır artefaktları olan veya olmayan düz benzerlik uzaylarını önerir. İman: öğrenilmiş temsiller muhtemelen hibrit-geometriktir. Günümüzdeki çoğu çalışma, tek bir küresel geometriyi (genellikle Öklid veya hiperbolik) varsaymaktadır. Histogram yaklaşımı doğal olarak farklı anlamsal alt uzayların farklı eğrilikleri veya topolojileri ortaya koyduğu karışık geometrilere genelleştirilir. Bu, geometrinin ortaya çıkan bir tesadüf değil, tasarım parametresi olduğu mimari açıdan açık, geometriye duyarlı temsillere doğru bir yol önerir; yorumlanabilirlik araçları ise sadece bilginin nerede yaşadığı değil, modelin hangi yapıyı öğrendiğini yerelleştirebilir. Özet. Mesafe histogramları, öğrenilen temsillerde eğrilik, topoloji ve etkili boyutluluğu ortaya çıkaran basit, hızlı ve teorik olarak temelli problardır. Bunlar, nöron ve devre düzeyinde yorumlanabilirliği tamamlayan geometri düzeyinde bir tanı sağlar ve modellerin farklı bilgi türlerini içsel olarak nasıl organize ettiğini test etmek için somut deneyler önerirler. (Chat 5.2 tarafından özet)