Tämän päivän postaus on yhteistyö lapsuudenystäväni Andrés Silvan kanssa :-) ------- Jos pudotat satunnaisen pisteen yksikköruutuun, on noin 78,5 % todennäköisyys, että se päätyy kaiverretun ympyrän sisäpuolelle. Pudota yksi yksikkökuutioon, ja on 52,4 % todennäköisyys, että se on kaiverretun pallon sisällä. Kymmenessä ulottuvuudessa todennäköisyys laskee 0,25 %:iin. Ulottuvuudessa 100 se on käytännössä nolla. Tämä on "ulottuvuuden kirous" – vakiokäytäntö kaikissa koneoppimisen kursseissa ja pitkän matemaattisen kirjallisuuden aiheena. Satunnaisten pisteiden keskimääräinen etäisyys laatikossa esitettiin Robbinsin toimesta ja ratkaistiin vuonna 1978. Johan Philip johdatti koko jakelun 3D:lle. Nämä ongelmat ovat hyvin tallattuja. Tässä haluamme tehdä jotain hieman erilaista: vertailla systemaattisesti etäisyyshistogrammeja eri geometrioissa (euklidinen, pallomainen, hyperbolinen), topologioissa (hyperkuutio vs. torus) ja ulottuvuuksissa – ja sitten kysyä, mitä nämä "allekirjoitukset" voisivat paljastaa todellisista upotustiloista neuroverkoissa. Ydinajatus: satunnaisten pisteiden parittaisten etäisyyksien histogrammi on geometrinen sormenjälki. Eri tilat jättävät erilaiset jäljet. Saatat pystyä käyttämään tätä selvittämään, millä geometrialla datasi salaa elää. Alkuperätarina: Kaksi Andresia astuu baariin Coyoacánissa... Tämän kirjoituksen ideat syntyivät keskustelusta meidän kahden välillä (kyllä, molempien nimi on Andrés – bienvenidos a México). Asetelma: jos sinä ja ystäväsi pudotatte satunnaisiin paikkoihin n-ulotteisessa hyperkuutiossa, kuinka kaukana olette keskimäärin toisistanne? Ja vielä mielenkiintoisempaa, miltä mahdollisten etäisyyksien jakauma näyttää? "Asia on niin," kuten yksi meistä totesi keskustelumme aikana, "jos otat kaksi satunnaista pistettä avaruudessa, miltä etäisyysjakauma näyttää? Olen varma, että olet ajatellut tätä ongelmaa?" - "Kyllä, ja mietin korkeampia ulottuvuuksia." Vastaus osoittautuu kauniin yksinkertaiseksi 1D-tapauksessa (viivasegmentti): etäisyyksien jakauma kahden tasaisen satunnaisen pisteen välillä [0,1] on kolmionmuotoinen, huipentuma 0:ssa. Useimmat parit ovat lähellä toisiaan, ja todennäköisyys olla täsmälleen yhden etäisyyden päässä (maksimi) on täsmälleen nolla – se on nollan mittainen joukko. Mutta mitä tapahtuu, kun lisäät wraparoundin? Kun viivan sijaan olet ympyrällä? Torus-temppu: Ilman yleisyyden menetystä Tässä kohtaa ensimmäinen kaunis oivallus nousee esiin. Suorasegmentillä [0,1] etäisyys pisteiden x ja y välillä on vain |x - y|. Mutta ympyrällä (1-toruksella) voit mennä kumpaankin suuntaan. "Kääritty" etäisyys on min(|x - y|, 1 - |x - y|). Keskeinen ajatus: Toruksella voit aina olettaa, että yksi piste on lähtökohdassa, menettämättä yleisyyttä. Miksi? Koska torus on homogeeninen – jokainen piste näyttää samalta kuin kaikki muutkin pisteet. Reunoja ei ole, joten kulmia ei ole. Jokainen paikka, johon asetat ensimmäisen pisteen, on "sama paikka". Jos pudotat kaksi satunnaista pistettä torukselle, voit aina mielessäsi kääntää tilan niin, että yksi piste on nollassa. Tämä tarkoittaa, että etäisyyksien jakauma määräytyy täysin yhden tasaisen satunnaispisteen etäisyyden jakauman perusteella nollasta. 1D-toruksella (ympyrällä) tämä kääritty koordinaatti on yhtenäinen kohdassa [0, 0.5]. Koko ongelma vaikuttaa kauniisti: n-ulotteisessa litteässä toruksessa kokonaisetäisyys on: D = sqrt(D_1^2 + D_2^2 + ... + D_n^2) missä jokainen D_i on kääritty koordinaattietäisyys ulottuvuudessa i, itsenäisesti yhtenäinen kohdassa [0, 0.5]. "Eli tarkastelet vektorin euklidisen normin jakaumaa, jonka komponentit ovat yhtenäiset [0, 0,5]", Andrés S. totesi keskustelumme aikana. "Voisit saada mittasarjan, joka on puolet kaikista näistä mahdollisuuksista..." ...