Mistralは新モデル2つ、Ministral 3とMistral Large 3をリリースする予定です。 アーキテクチャ的には以下の通りのようです: >Ministralのllama2/3と全く同じで、2年前の最初のMistral 7Bリリースと非常に似ています(SWAが追加されたものの)。 >DeepSeek V3と全く同じアーキテクチャで、大きなもの(おそらくMoEのようです)が使われています。 両方ともヤーンの代わりにllama4のロープスケーリングを使っており、ラージではイーグルを使った推測的デコードが実装されているようです スレッド内のPRSへのリンク