Po tom, co jsme viděli, že vysokodimenzionální jednotkové koule skrývají téměř veškerý svůj objem v tenké skořápce, tady je ještě šílenější pokračování: Vysokorozměrný Gaussovský systém není útulný zvon s hmotou přitulenou k vrcholu, je v podstatě prázdný uprostřed, přičemž téměř veškerá pravděpodobnost žije v tenkém halo na svahu ve vzdálenosti přibližně "druhé odmocniny z rozměru" od počátku. To znamená, že "typický" tah ze storozměrného Gaussovy hodnoty není ani zdaleka průměrem! 🤯 Leží na tomto prstenci, kde je hustota nižší, ale objem obrovský. V reálném životě je to obrovské: když inicializujete velkou neuronovou síť s Gaussovými váhami, většina sítí má přibližně stejnou celkovou hmotnostní normu, všechny sedí na tomto obalu, takže trénink probíhá na tenkém energetickém kruhu, ne téměř nule. #HighDimensionalSpace #MachineLearning #Gaussian