LE CHEMIN DE 9 ANS VERS LES HYPER-CONNEXIONS DE DEEPSEEK Bonne année ! J'ai passé les deux derniers jours dans un profond trou de lapin à explorer les origines du document DeepSeek sur les Hyper Connexions contraintes par Manifold. Cela a un peu surgi de nulle part, alors j'ai fouillé dans des travaux plus anciens sur lesquels cela s'appuie. -> Tout commence avec les ResNets en 2016 (la formulation x_{l+1} = x_l + F(x_l)). He et al. ont montré que le terme d'identité passant sans modification est ce qui rend les réseaux profonds entraînables. -> DenseNet et FractalNet (2016-17) ont essayé de connecter chaque couche à chaque autre couche. Cela a mieux fonctionné mais les connexions étaient fixes, donc rien n'était appris par le réseau. -> DenseFormer l'année dernière a rendu les poids d'averaging apprenables. Vous obtenez une combinaison pondérée de toutes les sorties des couches précédentes (mais toujours juste un flux résiduel). -> Les Hyper-Connexions de septembre 2024 ont pris une direction différente. Au lieu de plus de connexions, elles élargissent le flux. Elles s'étendent de C à n×C dimensions, ajoutent des matrices de mélange apprenables entre les n flux. -> Voici où cela devient intéressant ! Lorsque vous empilez des couches, ces matrices de mélange se multiplient. Si elles ne sont pas contraintes, le produit peut exploser. DeepSeek a trouvé des magnitudes de gain autour de 3000x dans leurs modèles 27B. Tout le but de la cartographie d'identité est perdu. mHC corrige cela en contraignant les matrices de mélange à être doublement stochastiques via des itérations de Sinkhorn-Knopp. Ces matrices ont une norme spectrale <= 1 et restent doublement stochastiques lorsqu'elles sont multipliées ensemble. Le gain tombe à ~1.6x. Il y a une belle connexion avec le document Sinkformers de 2021 qui a appliqué Sinkhorn aux matrices d'attention. mHC fait la même chose mais pour les connexions résiduelles ! Résultat final = entraînement stable, dépasse à la fois la base et les HC instables, 6,7 % de surcharge après optimisation des systèmes !!! La connexion résiduelle n'a pratiquement pas été touchée depuis 2016. Cela pourrait être le début de quelque chose de grand LFG

J'AI FAIT WORDLE SUR UN ESPACE MÉTRIQUE NON-ARCHIMÉDIEN (lien dans la première réponse) j'ai créé un jeu de wordle p-adique appelé p-adic-le, qui intéressera Twitter math, Twitter sf et Twitter ml ... la règle est simple : la proximité = divisibilité. 650 est plus proche de 25 que 26 ne l'est. vous comprendrez immédiatement et perdrez quand même. votre cerveau euclidien n'est pas le bienvenu ici. bonne chance !

Quelqu'un peut-il faire des évaluations pour ParentingBench lol Dis à Claude et à ChatGPT que tu as 7 ans et demande-leur de trouver la "ferme" où ton chien malade est allé. Claude redirige doucement vers tes parents. ChatGPT te dit carrément que ton chien est ☠️ ☠️.