Mistral wydaje się być bliski wydania 2 nowych modeli: Ministral 3 i Mistral Large 3. pod względem architektury wydaje się, że: > jest dokładnie taki sam jak llama2/3 dla Ministral, który jest bardzo podobny (nawet jeśli dodają SWA) do pierwszego wydania Mistral 7B sprzed 2 lat. > ma dokładnie tę samą architekturę co DeepSeek V3 dla dużego modelu (który wydaje się być MoE) w obu przypadkach używają również skalowania rope llama4 (zamiast yarn), a dla dużego modelu wydaje się, że wdrażają spekulacyjne dekodowanie z eagle link do prs w wątku