マンバシリーズの最新モデルがついに登場🐍しました ハイブリッドモデルはますます人気が高まり、次世代の線形モデル設計の重要性が高まっています。 速度を損なうことなくMamba-2のモデリング能力を大幅に向上させるために、いくつかのSSM中心のアイデアを導入しました。その結果生まれたMamba-3モデルは、これまでの人気のあった線形モデル(Mamba-2やGated DeltaNetなど)に比べて、あらゆるサイズで明らかな性能向上を遂げています。 これは学生主導の初めてのマンバであり、すべての功績は@aakash_lahoti @kevinyli_ @_berlinchen @caitWW9、そしてもちろん@tri_dao!