Na te hebben gezien dat hoge-dimensionale eenheidsballen bijna al hun volume verbergen in een dunne schil, hier is een nog gekkere vervolg: Een hoge-dimensionale Gaussian is geen gezellige bel met massa die op de piek is geknuffeld, het is in wezen leeg in het midden, met bijna alle waarschijnlijkheid die leeft in een dunne halo op de helling op een afstand van ongeveer "vierkantswortel van de dimensie" van de oorsprong. Dat betekent dat een "typische" trekking uit een honderd-dimensionale Gaussian nergens in de buurt van het gemiddelde zit! 🤯 Het bevindt zich op deze annulus waar de dichtheid lager is, maar het volume enorm is. In de echte wereld geïnterpreteerd, is dat enorm: wanneer je een groot neuraal netwerk initialiseert met Gaussian gewichten, hebben de meeste netwerken die je krijgt ongeveer dezelfde algehele gewichtsnorm, allemaal zittend op deze schil, dus de training vindt plaats op een dunne energiering in plaats van dicht bij nul. #HighDimensionalSpace #MachineLearning #Gaussian