После того как стало ясно, что многомерные единичные шары скрывают почти весь свой объем в тонкой оболочке, вот еще более безумное продолжение: Многомерный гауссовский распределение — это не уютный колокол с массой, собранной на пике, оно в основном пустое в центре, с почти всей вероятностью, находящейся в тонком гало на склоне на расстоянии примерно "квадратный корень из размерности" от начала координат. Это означает, что "типичный" выбор из стамерного гауссовского распределения находится далеко от среднего! 🤯 Он располагается на этом кольце, где плотность ниже, но объем огромен. В реальной жизни это огромно: когда вы инициализируете большую нейронную сеть с гауссовскими весами, большинство сетей, которые вы получаете, имеют примерно одинаковую общую норму веса, все находясь на этой оболочке, так что обучение происходит на тонком энергетическом кольце, а не близко к нулю. #HighDimensionalSpace #MachineLearning #Gaussian