Nachdem ich gesehen habe, dass hochdimensionale Einheitskugeln fast ihr gesamtes Volumen in einer dünnen Schale verbergen, hier ist eine noch verrücktere Fortsetzung: Eine hochdimensionale Gaussian ist keine gemütliche Glocke mit Masse, die am Gipfel gekuschelt ist, sie ist im Grunde leer im Zentrum, mit fast aller Wahrscheinlichkeit, die in einem dünnen Halo auf dem Hang in einer Entfernung von etwa "Quadratwurzel der Dimension" vom Ursprung lebt. Das bedeutet, dass eine "typische" Ziehung aus einer hundertdimensionalen Gaussian nirgendwo in der Nähe des Mittelwerts ist! 🤯 Sie sitzt auf diesem Ring, wo die Dichte niedriger ist, aber das Volumen enorm ist. In der realen Welt interpretiert, ist das riesig: Wenn du ein großes neuronales Netzwerk mit Gaussian-Gewichten initialisierst, haben die meisten Netzwerke, die du bekommst, ungefähr die gleiche Gesamtgewichtsnorm, die alle auf dieser Schale sitzen, sodass das Training auf einem dünnen Energiering stattfindet, anstatt nahe null.