Mistral semble sur le point de sortir 2 nouveaux modèles : Ministral 3 et Mistral Large 3. En termes d'architecture, cela semble être : > exactement la même que llama2/3 pour Ministral, qui est très similaire (même s'ils ajoutent SWA) à la première version de Mistral 7B sortie il y a 2 ans. > exactement la même architecture que DeepSeek V3 pour le modèle large (qui semble être un MoE) Pour les deux, ils utilisent également le scaling rope de llama4 (au lieu de yarn), et pour le modèle Large, ils semblent mettre en œuvre un décodage spéculatif avec eagle. lien vers les prs dans le fil.