🔥 これにより、ロングコンテキスト AI のすべてが変わります。 新しい論文「Every Attention Matters」は、トランスフォーマーが 128K+ トークンを処理する方法を静かに再配線しました。 Ling チームは、Softmax と Linear Attention を融合したハイブリッドの「リング線形」アテンションを構築しました。 結果。精度ゼロのトレードオフで10倍安価な推論。 しかし、これが私の顎を落としたものです。 +50%のトレーニング効率 +90%の推論速度 超長いシーケンスにわたる安定したRL最適化 1兆パラメータのナンセンスはありません。 エキゾチックなハードウェアはありません。 よりスマートなアーキテクチャだけです。 AI の未来はそれほど注目されていません。それはよりスマートな注意です。