Короткий огляд ключових _корисних_ інсайтів для групи механістичної інтерпретації, зокрема: Розподіли відстаней — це недорога діагностика для вивченої геометрії. Маючи простір представлень, гістограма парних відстаней між випадково вибраними точками є сильним геометричним відбитком. Різні геометрії — евклідова, сферична, гіперболічна — та різні топології — обмежені та періодичні — створюють чітко відмінні розподіли відстаней навіть при помірних розмірах. Ці сигнатури виникають через концентрацію міри, граничні ефекти та кривизну, і вони стійкі до шуму. Ключова пропозиція полягає в тому, щоб розглядати гістограми відстані не як цікавинки, а як судові дослідження того, яку геометрію використовує вивчене представлення. Топологія має значення незалежно від кривизни. Плоский n-тор і n-вимірний гіперкуб мають однакову локальну евклідову геометрію, проте їхні розподіли відстаней суттєво відрізняються. Тор усуває граничні ефекти, забезпечуючи меншу середню відстань і більш вузьку концентрацію (~0,289√н), ніж гіперкуб (~0,408√н). Ці відмінності зберігаються і загострюються з мірою. Це показує, що багато «високовимірних патологій», які приписують лише розмірності, насправді є артефактами граничних умов — розрізнення, яке рідко чітко висловлюється у практиці машинного навчання. Низьковимірні аномалії виявляють геометричні механізми. У низьких вимірах розподіли відстаней виявляють негаусову структуру, безпосередньо пов'язану з геометрією. Наприклад, двовимірний плоский тор має інтегровний кінчик на максимальній відстані через обмеження кутів у обгорнутому квадраті координат. Це швидко зникає разом із розміром, коли концентрація домінує. Такі особливості не є чисельним шумом; вони є аналітичними наслідками геометрії. Бачення (або небачення) цих артефактів у навчених вкладеннях дає інформацію про ефективну розмірність і структуру незалежності підпросторів представлення. Застосування інтерпретованості: вбудовування космічної криміналістики. Маючи навчену модель, можна вибрати семантично когерентні підмножини вкладень (наприклад, географічні сутності, таксономії, емоції, часові поняття) і обчислити їхні попарні гістограми відстані. Порівняння цих гістограм із теоретичними прогнозами дозволяє зробити висновок про геометрію, яку модель вивчила для цієї області. Сферичні підписи свідчать про кутові або многовидоподібні зображення; гіперболічні підписи свідчать про ієрархічну структуру; Евклідові або тороїдальні сигнатури свідчать про плоскі простори схожості з артефактами межі або без них. Висновок: вивчені представлення, ймовірно, є гібридно-геометричними. Більшість сучасних робіт передбачає єдину глобальну геометрію (зазвичай евклідову або гіперболічну). Підхід гістограми природно узагальнюється на змішані геометрії, де різні семантичні підпростори втілюють різні кривини або топології. Це свідчить про шлях до архітектурно явних, геометричних представлень, де геометрія є параметром проєктування, а не випадковістю, і де інструменти інтерпретаційності можуть локалізувати структуру, яку модель засвоїла, а не лише де живе інформація. Резюме. Гістограми відстані — це прості, швидкі та теоретично обґрунтовані зонди, які виявляють кривизну, топологію та ефективну розмірність у вивчених представленнях. Вони надають діагностику на рівні геометрії, яка доповнює інтерпретованість на рівні нейронів і схем, а також пропонують конкретні експерименти для тестування того, як моделі внутрішньо організовують різні види знань. (Резюме від Chat 5.2)