DeepSeek tocmai a lansat un articol excelent pentru a încheia anul 2025 "mHC: Conexiuni Hiper-Restricționate de Varietate" Hyper-Conexiunile transformă singura "autostradă" reziduală din transformatoare în n benzi paralele, iar fiecare strat învață cum să amestece și să partajeze semnalul între benzi. Dar dacă fiecare strat poate amplifica sau micșora arbitrar benzile, produsul acestor amestecări pe adâncime face ca semnalele/gradientele să explodeze sau să dispară. Astfel, ele forțează fiecare amestecare să conserve masă: o matrice dublu stocastică (nenegativă, fiecare rând/coloană însumează 1). Fiecare strat poate doar să redistribuie semnalul pe benzi, nu să-l creeze sau să-l distrugă, astfel încât drumul adânc de sărituri rămâne stabil în timp ce caracteristicile încă se amestecă! Cu N=4 adaugă ~6,7% timp de antrenament, dar reduce pierderea finală cu ~0,02 și păstrează câștigul invers în cel mai rău caz ~1,6 (față de ~3000 fără constrângere), cu victorii constante la benchmark pe toate planurile