Après avoir constaté que les boules unitaires en haute dimension cachent presque tout leur volume dans une fine coquille, voici une suite encore plus folle : Un Gaussian en haute dimension n'est pas une cloche confortable avec une masse blottie au sommet, il est en fait presque vide au centre, avec presque toute la probabilité vivant dans un mince halo sur la pente à une distance d'environ "racine carrée de la dimension" de l'origine. Cela signifie qu'un tirage "typique" d'un Gaussian à cent dimensions n'est nulle part près de la moyenne ! 🤯 Il se trouve sur cet anneau où la densité est plus faible mais le volume est énorme. Interprété dans la vie réelle, c'est énorme : lorsque vous initialisez un grand réseau de neurones avec des poids Gaussian, la plupart des réseaux que vous obtenez ont à peu près la même norme de poids globale, tous situés sur cette coquille, donc l'entraînement se fait sur un mince anneau d'énergie plutôt que près de zéro. #HighDimensionalSpace #MachineLearning #Gaussian