Después de ver que las bolas de unidad de alta dimensión ocultan casi todo su volumen en una fina carcasa, aquí va una secuela aún más loca: Una Gaussiana de alta dimensión no es una campana acogedora con masa acurrucada en la cima, está básicamente vacía en el centro, con casi toda la probabilidad viviendo en un halo delgado en la pendiente a una distancia aproximada de la "raíz cuadrada de la dimensión" del origen. Eso significa que un extraje "típico" de un gaussiano de cien dimensiones está lejos de la media. 🤯 Se asienta sobre este anillo donde la densidad es menor pero el volumen es enorme. Interpretado en la vida real, eso es enorme: cuando inicializas una gran red neuronal con pesos gaussianos, la mayoría de las redes que obtienes tienen una norma de peso global similar, todas situadas sobre esta caparazón, así que el entrenamiento ocurre en un anillo de energía delgado en lugar de cerca de cero. #HighDimensionalSpace #MachineLearning #Gaussian