Depois de ver que as bolas unitárias de alta dimensão escondem quase todo o seu volume em uma fina camada, aqui está uma sequência ainda mais louca: Um Gaussian de alta dimensão não é um sino aconchegante com massa aconchegada no pico, é basicamente vazio no centro, com quase toda a probabilidade vivendo em um fino halo na encosta a uma distância de cerca de "raiz quadrada da dimensão" da origem. Isso significa que um sorteio "típico" de um Gaussian de cem dimensões está longe da média! 🤯 Ele se encontra neste anel onde a densidade é menor, mas o volume é enorme. Interpretado na vida real, isso é enorme: quando você inicializa uma grande rede neural com pesos Gaussianos, a maioria das redes que você obtém tem aproximadamente a mesma norma de peso geral, todas situadas nesta camada, então o treinamento está acontecendo em um fino anel de energia em vez de perto de zero. #HighDimensionalSpace #MachineLearning #Gaussian