Etter å ha sett at høydimensjonale enhetskuler skjuler nesten hele volumet sitt i et tynt skall, kommer her en enda villere oppfølger: En høydimensjonal Gaussisk er ikke en koselig bjelle med masse som ligger tett på toppen, den er i praksis tom i midten, med nesten all sannsynlighet levende i en tynn glorie ute på skråningen omtrent «kvadratroten av dimensjonen» fra origo. Det betyr at et «typisk» trekk fra en hundredimensjonal Gaussisk er langt unna gjennomsnittet! 🤯 Den sitter på denne annulusen hvor tettheten er lavere, men volumet er enormt. Tolket i virkeligheten er det enormt: når du initialiserer et stort nevralt nettverk med Gaussiske vekter, har de fleste nettverk du får omtrent samme totale vektnorm, alle ligger på dette skallet, så treningen skjer på en tynn energiring i stedet for nær null. #HighDimensionalSpace #MachineLearning #Gaussian