目立たずに飛んだ:ラマ3から*後訓練*を受けたマンバ-2+MLAハイブリッド機。GQA=>フルMLAは実現可能だと分かっていました。KimiはMLAとリニアアテンションを組み合わせられることを証明しています(ただしKDAはMamba2より洗練されています)が、彼らはゼロからトレーニングしました。 これは技術的に印象的です。