Mistral lijkt op het punt te staan om 2 nieuwe modellen uit te brengen: Ministral 3 en Mistral Large 3. Wat betreft de architectuur lijkt het: > precies hetzelfde te zijn als llama2/3 voor Ministral, wat erg lijkt op (ook al voegen ze SWA toe) de eerste Mistral 7B release van 2 jaar geleden. > precies dezelfde architectuur als DeepSeek V3 voor de grote versie (wat lijkt op een MoE) Voor beide gebruiken ze ook llama4 rope scaling (in plaats van yarn), en voor de grote versie lijken ze speculatieve decodering met eagle te implementeren. link naar prs in thread