Po zobaczeniu, że jednostkowe kule w wysokich wymiarach ukrywają prawie całą swoją objętość w cienkiej powłoce, oto jeszcze bardziej szalony sequel: Wysokowymiarowy Gaussian to nie przytulny dzwon z masą przytuloną na szczycie, jest zasadniczo pusty w środku, z prawie całą prawdopodobieństwem żyjącym w cienkim halo na stoku w odległości około „pierwiastka z wymiaru” od początku. To oznacza, że „typowe” losowanie z setkowymiarowego Gaussiana jest dalekie od średniej! 🤯 Siedzi na tym pierścieniu, gdzie gęstość jest niższa, ale objętość jest ogromna. Interpretując to w prawdziwym życiu, to ogromne: gdy inicjalizujesz dużą sieć neuronową z wagami Gaussowskimi, większość sieci, które otrzymujesz, ma mniej więcej tę samą ogólną normę wag, wszystkie siedzą na tej powłoce, więc trening odbywa się na cienkim pierścieniu energii, a nie blisko zera. #HighDimensionalSpace #MachineLearning #Gaussian