DeepSeek vient de publier un papier incroyable pour conclure 2025 "mHC : Hyper-Connexions à Contrainte Manifold" Les Hyper-Connexions transforment l'unique "autoroute" résiduelle dans les transformateurs en n voies parallèles, et chaque couche apprend à mélanger et partager le signal entre les voies. Mais si chaque couche peut amplifier ou réduire arbitrairement les voies, le produit de ces mélanges à travers la profondeur fait exploser ou atténuer les signaux/gradients. Ainsi, ils forcent chaque mélange à être conservateur de masse : une matrice doubly stochastique (non négative, chaque ligne/colonne somme à 1). Chaque couche ne peut que redistribuer le signal entre les voies, sans en créer ou en détruire, donc le chemin de saut profond reste stable tout en permettant aux caractéristiques de se mélanger ! Avec n=4, cela ajoute ~6,7 % de temps d'entraînement, mais réduit la perte finale d'environ ~0,02, et maintient le gain arrière dans le pire des cas à ~1,6 (contre ~3000 sans la contrainte), avec des victoires de benchmark cohérentes dans tous les domaines.