Efter att ha sett att högdimensionella enhetsbollar döljer nästan all sin volym i ett tunt skal, här är en ännu galnare uppföljare: En högdimensionell Gaussian är inte en mysig klocka med massan som kramar på toppen, den är i princip tom i mitten, med nästan all sannolikhet levande i en tunn gloria ute på sluttningen på ett avstånd ungefär "kvadratroten av dimensionen" från origo. Det betyder att ett "typiskt" drag från en hundradimensionell Gaussisk är långt ifrån medelvärdet! 🤯 Den sitter på denna ring där densiteten är lägre men volymen enorm. Tolkat i verkliga livet är det enormt: när du initierar ett stort neuralt nätverk med Gaussiska vikter har de flesta nätverk ungefär samma totala viktnorm, alla sitter på detta skal, så träningen sker på en tunn energiring snarare än nära noll. #HighDimensionalSpace #MachineLearning #Gaussian