Después de ver que las bolas de unidad de alta dimensión ocultan casi todo su volumen en una fina carcasa, aquí va una secuela aún más loca: Una Gaussiana de alta dimensión no es una campana acogedora con masa acurrucada en la cima, está básicamente vacía en el centro, con casi toda la probabilidad viviendo en un halo delgado en la pendiente a una distancia aproximada de la "raíz cuadrada de la dimensión" del origen. Eso significa que un extraje "típico" de un gaussiano de cien dimensiones está lejos de la media. 🤯 Se asienta sobre este anillo donde la densidad es menor pero el volumen es enorme. Interpretado en la vida real, eso es enorme: cuando inicializas una gran red neuronal con pesos gaussianos, la mayoría de las redes que obtienes tienen una norma de peso global similar, todas situadas sobre esta caparazón, así que el entrenamiento ocurre en un anillo de energía delgado en lugar de cerca de cero. #HighDimensionalSpace #MachineLearning #Gaussian

En la publicación anterior vimos que, en grandes dimensiones, casi todo el volumen de una bola unitaria vive en una carcasa finísima cerca del límite. ¡Pero hay otro giro! 😄 La mayoría de los puntos también se encuentran en una losa central estrecha alrededor de cualquier dirección fija. Así que un punto "típico" está lejos del origen en términos de distancia total, pero su coordenada a lo largo de cualquier eje dado es diminuta. Los puntos de alta dimensión están tanto "en la superficie" como "cerca del ecuador", por lo que los vectores aleatorios son casi ortogonales en espacios de aprendizaje automático de alta dimensión. 🤯 Gracias a @mutko55 por recordarme esto. #HighDimensionalSpace #MachineLearning

Esto es una de las cosas más extrañas que he aprendido nunca. 🤨😦🤯 Estamos tan condicionados a pensar en dimensiones 1, 2 y 3 que nuestra intuición básicamente vive ahí, pero una vez que entras en dimensiones altas, incluso algo tan básico como la distancia empieza a comportarse de una manera que se siente incorrecta. En una bola de alta dimensión, casi todo el volumen reside en una fina carcasa cerca del límite... Si reduces un poco el radio, has tirado casi todo, así que los puntos aleatorios no quedan en el centro, se aplastan formando un halo microscópico en el borde. Esa es una de las razones por las que la distancia, los vecinos más cercanos y la intuición geométrica empiezan a comportarse de forma tan extraña en espacios de aprendizaje automático de alta dimensión. La geometría de alta dimensión te está diciendo en silencio que tu cerebro de baja dimensión te está mintiendo. 🤯 #HighDimensionalSpace #MachineLearning