est passé inaperçu : un hybride Mamba-2+MLA, *post-entraîné* à partir de Llama 3. Nous savions que GQA=>full MLA est réalisable. Kimi a prouvé que l'on peut combiner MLA et attentions linéaires (KDA est plus sophistiqué que Mamba2 cependant), mais ils ont été entraînés depuis zéro. C'est techniquement impressionnant.