Etter å ha sett at høydimensjonale enhetskuler skjuler nesten hele volumet sitt i et tynt skall, kommer her en enda villere oppfølger: En høydimensjonal Gaussisk er ikke en koselig bjelle med masse som ligger tett på toppen, den er i praksis tom i midten, med nesten all sannsynlighet levende i en tynn glorie ute på skråningen omtrent «kvadratroten av dimensjonen» fra origo. Det betyr at et «typisk» trekk fra en hundredimensjonal Gaussisk er langt unna gjennomsnittet! 🤯 Den sitter på denne annulusen hvor tettheten er lavere, men volumet er enormt. Tolket i virkeligheten er det enormt: når du initialiserer et stort nevralt nettverk med Gaussiske vekter, har de fleste nettverk du får omtrent samme totale vektnorm, alle ligger på dette skallet, så treningen skjer på en tynn energiring i stedet for nær null. #HighDimensionalSpace #MachineLearning #Gaussian

I forrige innlegg så vi at i høye dimensjoner lever nesten hele volumet av en enhetskule i et syltynt skall nær grensen. Men det er en annen vri! 😄 De fleste punktene ligger også i en smal sentral plate rundt en fast retning. Så et «typisk» punkt er langt fra origo når det gjelder total avstand, men koordinaten langs en gitt akse er liten. Høydimensjonale punkter er både «på overflaten» og «nær ekvator», og derfor er tilfeldige vektorer nesten ortogonale i høydimensjonale maskinlæringsrom. 🤯 Takk til @mutko55 for at du minnet meg på dette. #HighDimensionalSpace #MachineLearning

Dette er en av de merkeligste tingene jeg noen gang har lært. 🤨😦🤯 Vi er så betinget til å tenke i 1, 2 og 3 dimensjoner at intuisjonen vår i praksis lever der, men når du trår inn i høye dimensjoner, begynner selv noe så grunnleggende som avstand å oppføre seg på en måte som føles feil. I en høydimensjonal kule ligger nesten hele volumet i et tynt skall nær grensen... Krymper radiusen bare litt, og du har kastet nesten alt, så tilfeldige punkter ikke ligger i midten i det hele tatt, de blir presset sammen til en mikroskopisk glorie i kanten. Det er en av grunnene til at avstand, nærmeste naboer og geometrisk intuisjon begynner å oppføre seg så merkelig i høydimensjonale maskinlæringsrom. Høydimensjonal geometri forteller deg stille at din lavdimensjonale hjerne lyver for deg. 🤯 #HighDimensionalSpace #MachineLearning