Postarea de astăzi este o colaborare cu prietenul meu din copilărie, Andrés Silva :-) ------- Dacă pui un punct aleatoriu într-un pătrat unitar, există aproximativ 78,5% șanse să ajungă în interiorul cercului inscripționat. Adaugă unul într-un cub unitar și există 52,4% șanse să fie în interiorul sferei inscripționate. Până la dimensiunea 10, această probabilitate scade la 0,25%. Până la dimensiunea 100, este practic zero. Aceasta este "blestemul dimensionalității" – un curs standard în orice curs de învățare automată și subiectul unei ample literaturi matematice. Distanța medie dintre puncte aleatorii dintr-o cutie a fost propusă de Robbins și rezolvată în 1978. Johan Philip a derivat distribuția completă pentru 3D. Aceste probleme sunt bine bătute. Ceea ce vrem să facem aici este ceva puțin diferit: să comparăm sistematic histogramele de distanță din diferite geometrii (euclidiene, sferice, hiperbolice), topologii (hipercub vs. torus) și dimensiuni – și apoi să ne întrebăm ce ar putea dezvălui aceste "semnături" despre spațiile de încorporare din lumea reală din rețelele neuronale. Ideea de bază: histograma distanțelor pereche între puncte aleatorii este o amprentă geometrică. Spațiile diferite lasă urme diferite. Ai putea folosi asta pentru a diagnostica în ce geometrie trăiesc în secret datele tale. Povestea de origine: Doi Andres intră într-un bar din Coyoacán... Ideile din această postare au apărut dintr-o conversație între noi doi (da, amândoi ne numim Andrés - bienvenidos a México). Contextul: dacă tu și un prieten sunteți amândoi plasați în locații aleatorii într-un hipercub n-dimensional, la ce distanță vă aflați, în medie? Și, mai interesant, cum arată distribuția distanțelor posibile? "Ideea este," așa cum a spus unul dintre noi în timpul discuției, "dacă prinzi două puncte aleatorii în spațiu, cum arată distribuția distanței? Sunt sigur că te-ai gândit la această problemă?" - "Da, și mă întrebam despre dimensiuni superioare." Răspunsul se dovedește a fi frumos simplu pentru cazul 1D (un segment de dreaptă): distribuția distanțelor dintre două puncte aleatoare uniforme pe [0,1] este triunghiulară, cu vârful 0. Majoritatea perechilor sunt apropiate, iar probabilitatea de a fi exact la 1 distanță (maximul) este exact zero – este o mulțime de măsură zero. Dar ce se întâmplă când adaugi wraparound? Când, în loc de un segment de linie, ești pe un cerc? Trucul torului: fără pierderea generalității Aici apare prima perspectivă frumoasă. Pe un segment drept [0,1], distanța dintre punctele x și y este pur și simplu |x - y|. Dar pe un cerc (un 1-torus), poți merge în ambele direcții. Distanța "înfășurată" este min(|x - y|, 1 - |x - y|). Idee cheie: Pe un torus, poți presupune întotdeauna că un punct este la origine fără pierderea generalității. De ce? Pentru că torusul este omogen – fiecare punct arată ca toate celelalte puncte. Nu există margini, deci nu există colțuri. Fiecare locație unde plasezi primul punct este "aceeași locație". Dacă arunci două puncte aleatorii pe un torus, poți întotdeauna să transporți mental spațiul astfel încât un punct să stea la zero. Aceasta înseamnă că distribuția distanțelor este complet determinată de distribuția distanței unui singur punct aleator uniform față de zero. Pe torul 1D (cerc), această coordonată înfășurată este uniformă pe [0, 0,5]. Întreaga problemă se factorizează frumos: într-un torus plat n-dimensional, distanța totală este: D = pătrat(D_1^2 + D_2^2 + ... + D_n^2) unde fiecare D_i este distanța coordonatelor înfășurate în dimensiunea i, independent uniformă pe [0, 0,5]. "Deci te uiți la distribuția normei euclidiene a unui vector ale cărui componente sunt uniforme pe [0, 0,5]", a remarcat Andrés S. în timpul conversației noastre. "Ai putea avea un set de măsură jumătate din toate acele posibilități..." ...