🚨 NVIDIA vient de réaliser l'impossible. Ils ont entraîné un modèle de langage de 12 milliards de paramètres sur 10 trillions de tokens entièrement en précision 4 bits. Il s'appelle NVFP4, et il pourrait redéfinir la façon dont les modèles d'IA de pointe sont entraînés. Voici pourquoi cela compte : • NVFP4 offre un débit mathématique 2 à 3 fois plus rapide et 50 % de mémoire en moins par rapport à FP8 • Précision ? Pratiquement identique. (MMLU-Pro : FP8 = 62,62 %, NVFP4 = 62,58 %) • Problèmes de stabilité ? Résolus grâce aux transformations de Hadamard aléatoires, au ronding stochastique et à l'échelle 2D • Entraîné entièrement sur des GPU NVIDIA Blackwell, le premier run 4 bits stable sur 10T tokens C'est la première démonstration réussie de pré-entraînement à grande échelle en 4 bits sans perte de précision. La prochaine génération de modèles de pointe sera plus rapide, moins chère et plus écologique sans compromis.