Резюме ключевых _полезных_ идей для сообщества механистической интерпретируемости: Распределения расстояний являются дешевым диагностическим инструментом для изучения изученной геометрии. Учитывая пространство представлений, гистограмма парных расстояний между случайно выбранными точками является сильным геометрическим отпечатком. Разные геометрии — евклидова, сферическая, гиперболическая — и разные топологии — ограниченные и периодические — создают резко отличающиеся распределения расстояний, даже при умеренной размерности. Эти сигнатуры возникают из концентрации меры, эффектов границы и кривизны, и они устойчивы к шуму. Ключевое предложение состоит в том, чтобы рассматривать гистограммы расстояний не как любопытные факты, а как судебные инструменты для определения геометрии, которую изученное представление использует неявно. Топология имеет значение независимо от кривизны. Плоский n-тор и n-мерный гиперкуб имеют одинаковую локальную евклидову геометрию, но их распределения расстояний существенно различаются. Тор устраняет эффекты границы, что приводит к меньшему среднему расстоянию и более плотной концентрации (~0.289√n), чем у гиперкуба (~0.408√n). Эти различия сохраняются и усиливаются с увеличением размерности. Это показывает, что многие "высокоразмерные патологии", приписываемые только размерности, на самом деле являются артефактами условий границы — различие, которое редко явно указывается на практике в области машинного обучения. Низкоразмерные аномалии выявляют геометрические механизмы. В низких размерностях распределения расстояний показывают негауссовскую структуру, непосредственно связанную с геометрией. Например, 2D плоский тор демонстрирует интегрируемый выступ на максимальном расстоянии из-за ограничений углов в обернутом квадрате координат. Это быстро исчезает с увеличением размерности, поскольку концентрация доминирует. Такие особенности не являются числовым шумом; они являются аналитическими следствиями геометрии. Наблюдение (или ненаблюдение) этих артефактов в изученных встраиваниях предоставляет информацию о эффективной размерности и структуре независимости подпространств представлений. Применение интерпретируемости: судебная экспертиза пространства встраиваний. Учитывая обученную модель, можно выбрать семантически согласованные подмножества встраиваний (например, географические объекты, таксономии, эмоции, временные концепции) и вычислить их парные гистограммы расстояний. Сравнение этих гистограмм с теоретическими предсказаниями позволяет сделать выводы о геометрии, которую модель изучила для этой области. Сферические сигнатуры будут указывать на угловые или многообразные представления; гиперболические сигнатуры будут указывать на иерархическую структуру; евклидовые или тороидальные сигнатуры будут указывать на плоские пространства сходства с или без артефактов границы. Следствие: изученные представления, вероятно, являются гибридно-геометрическими. Большинство современных работ предполагает единую глобальную геометрию (обычно евклидова или гиперболическая). Подход с гистограммами естественно обобщается на смешанные геометрии, где разные семантические подпространства реализуют разные кривизны или топологии. Это предполагает путь к архитектурно явным, осведомленным о геометрии представлениям, где геометрия является параметром дизайна, а не случайным следствием — и где инструменты интерпретируемости могут локализовать, какую структуру модель изучила, а не только где находится информация. Резюме. Гистограммы расстояний являются простыми, быстрыми и теоретически обоснованными инструментами, которые выявляют кривизну, топологию и эффективную размерность в изученных представлениях. Они предоставляют диагностику на уровне геометрии, которая дополняет интерпретируемость на уровне нейронов и цепей, и они предлагают конкретные эксперименты для проверки того, как модели внутренне организуют разные виды знаний. (Резюме от Chat 5.2)