Kun näin, että korkean ulottuvuuden yksikköpallot kätkevät lähes kaiken tilavuutensa ohuessa kuoressa, tässä on vielä hullumpi jatko-osa: Korkeaulotteinen Gaussin ei ole kodikas kello, jonka massa on huipulla käpertynyt, vaan se on käytännössä tyhjä keskeltä, ja lähes kaikki todennäköisyys elää ohuessa halossa rinteellä noin "ulottuvuuden neliöjuuren" etäisyydellä origosta. Se tarkoittaa, että "tyypillinen" vetovoima sadan ulottuvuuden Gaussin hahmosta ei ole lähelläkään keskiarvoa! 🤯 Se sijaitsee tällä renkaalla, jossa tiheys on pienempi, mutta tilavuus on valtava. Oikeassa elämässä tulkittuna se on valtava merkitys: kun alustetaan suuri neuroverkko Gaussin painoilla, useimmilla verkoilla on suunnilleen sama kokonaispainonormi, kaikki tällä kuorella, joten harjoittelu tapahtuu ohuella energiarenkaalla eikä lähellä nollaa. #HighDimensionalSpace #MachineLearning #Gaussian