Depois de ver que bolas unitárias de alta dimensão escondem quase todo o volume em uma casca fina, aqui vai uma sequência ainda mais louca: Uma Gaussiana de alta dimensão não é um sino aconchegante com massa aconchegada no topo, ela é basicamente vazia no centro, com quase toda a probabilidade vivendo em um halo fino na encosta, a uma distância de cerca de "raiz quadrada da dimensão" da origem. Isso significa que um "sorteio típico" de um Gaussiano de cem dimensões está longe da média! 🤯 Ele fica nesse anel onde a densidade é menor, mas o volume é enorme. Interpretado na vida real, isso é enorme: quando você inicializa uma grande rede neural com pesos gaussianos, a maioria das redes que você obtém tem aproximadamente a mesma norma geral de peso, todas apoiadas nessa casca, então o treinamento acontece em um anel de energia fino em vez de quase zero. #HighDimensionalSpace #MachineLearning #Gaussian