يبدو أن ميسترال على وشك إصدار نموذجين جديدين: مينيسترال 3 وميسترال لارج 3. من ناحية العمارة، يبدو أن الأمر يلي: > تماما مثل llama2/3 في Ministral، وهو مشابه جدا (حتى لو أضافوا SWA) لأول إصدار من Mistral 7B قبل عامين. > نفس بنية DeepSeek V3 تماما للجهاز الكبير (الذي يبدو أنه من MoE) في كليهما، يستخدمون أيضا تحجيم الحبال LAMA4 (بدلا من الخيط)، وبالنسبة للحبل الكبير يبدو أنهم ينفذون فك الترميز الافتراضي باستخدام إيجل رابط إلى PRS في الموضوع