Lancement du formateur entièrement asynchrone sur le mainnet de @grail_ai, entraînant un modèle de 7B 🚀 L'entraînement se déroule maintenant en continu à partir d'un tampon de replay ! Plus d'attente sur la communication. Cela a débloqué 2k+ de contexte et nous a permis de passer de modèles de 1,5B → 7B et même plus grands par la suite.