Después de ver que las bolas unitarias de alta dimensión ocultan casi todo su volumen en una delgada capa, aquí hay una secuela aún más loca: Un Gaussian de alta dimensión no es una campana acogedora con masa acurrucada en la cima, está básicamente vacío en el centro, con casi toda la probabilidad viviendo en un halo delgado en la pendiente a una distancia de aproximadamente "raíz cuadrada de la dimensión" desde el origen. Eso significa que un sorteo "típico" de un Gaussian de cien dimensiones está muy lejos de la media! 🤯 Se encuentra en este anillo donde la densidad es más baja pero el volumen es enorme. Interpretado en la vida real, eso es enorme: cuando inicializas una gran red neuronal con pesos Gaussianos, la mayoría de las redes que obtienes tienen aproximadamente la misma norma de peso general, todas sentadas en esta capa, por lo que el entrenamiento ocurre en un delgado anillo de energía en lugar de cerca de cero. #HighDimensionalSpace #MachineLearning #Gaussian