Ringkasan wawasan _berguna_ utama untuk kerumunan interpretabilitas mekanistik secara khusus: Distribusi jarak adalah diagnostik murah untuk geometri yang dipelajari. Mengingat ruang representasi, histogram jarak berpasangan antara titik sampel secara acak adalah sidik jari geometris yang kuat. Geometri yang berbeda—Euclidean, bulat, hiperbolik—dan topologi yang berbeda—dibatasi vs. periodik—menghasilkan distribusi jarak yang sangat berbeda, bahkan pada dimensi sedang. Tanda tangan ini muncul dari konsentrasi ukuran, efek batas, dan kelengkungan, dan mereka kuat terhadap kebisingan. Proposal utamanya adalah memperlakukan histogram jarak bukan sebagai keingintahuan, tetapi sebagai penyelidikan forensik tentang geometri apa yang digunakan secara implisit oleh representasi yang dipelajari. Topologi penting secara independen dari kelengkungan. Torus n datar dan hiperkubus n-dimensi berbagi geometri Euclidean lokal yang sama, namun distribusi jaraknya berbeda secara substansial. Torus menghilangkan efek batas, menghasilkan jarak rata-rata yang lebih rendah dan konsentrasi yang lebih ketat (~0,289√n) daripada hiperkubus (~0,408√n). Perbedaan ini bertahan dan dipertajam seiring dengan dimensi. Ini menunjukkan bahwa banyak "patologi dimensi tinggi" yang dikaitkan dengan dimensi saja sebenarnya adalah artefak kondisi batas—perbedaan yang jarang dibuat eksplisit dalam praktik ML. Anomali dimensi rendah mengekspos mekanisme geometris. Dalam dimensi rendah, distribusi jarak mengungkapkan struktur non-Gaussian yang terkait langsung dengan geometri. Misalnya, torus datar 2D menunjukkan puncak yang dapat diintegrasikan pada jarak maksimum karena kendala sudut pada kotak koordinat yang dibungkus. Ini menghilang dengan cepat dengan dimensi karena konsentrasi mendominasi. Fitur seperti itu bukan noise numerik; mereka adalah konsekuensi analitis dari geometri. Melihat (atau tidak melihat) artefak ini dalam penyematan yang dipelajari memberikan informasi tentang dimensi efektif dan struktur independensi subruang representasi. Aplikasi interpretabilitas: menyematkan forensik ruang. Mengingat model terlatih, seseorang dapat memilih subset penyematan yang koheren secara semantik (misalnya entitas geografis, taksonomi, emosi, konsep temporal) dan menghitung histogram jarak berpasangannya. Membandingkan histogram ini dengan prediksi teoretis memungkinkan kesimpulan tentang geometri yang telah dipelajari model untuk domain tersebut. Tanda tangan bulat akan menyarankan representasi sudut atau bermacam-macam; tanda tangan hiperbolik akan menyarankan struktur hierarkis; Tanda tangan euclidean atau toroidal akan menunjukkan ruang kesamaan datar dengan atau tanpa artefak batas. Implikasi: representasi yang dipelajari kemungkinan bersifat hibrida-geometris. Sebagian besar pekerjaan saat ini mengasumsikan geometri global tunggal (biasanya Euclidean atau hiperbolik). Pendekatan histogram secara alami menggeneralisasi ke geometri campuran, di mana subruang semantik yang berbeda membuat instance kelengkungan atau topologi yang berbeda. Ini menunjukkan jalan menuju representasi arsitektur yang eksplisit dan sadar geometri, di mana geometri adalah parameter desain daripada kecelakaan yang muncul—dan di mana alat interpretabilitas dapat melokalkan struktur seperti apa yang telah dipelajari model, bukan hanya di mana informasi berada. Ringkasan. Histogram jarak adalah probe sederhana, cepat, dan didasarkan secara teoritis yang mengekspos kelengkungan, topologi, dan dimensi efektif dalam representasi yang dipelajari. Mereka menyediakan diagnostik tingkat geometri yang melengkapi interpretabilitas tingkat neuron dan tingkat sirkuit, dan mereka menyarankan eksperimen konkret untuk menguji bagaimana model secara internal mengatur berbagai jenis pengetahuan. (Ringkasan oleh Obrolan 5.2)