Google Researchは、シーケンスモデリングにおける2つの画期的な成果を発表しました。 🔹タイタンズ、深層神経記憶アーキテクチャ 🔹MIRASは長期AI記憶のための統合的なフレームワークです。 Titansは「サプライズメトリクス」を使ってリアルタイムで記憶を学習・更新し、最も重要な新情報だけを捉えます。 MIRASは、リアルタイム最適化、メモリ減衰、非ユークリッド損失関数を備え、2M+トークンにスケールする超長タスクでTransformersやMambaを上回る設計図を提供します。 TitansはBABILongのような極端な長期コンテキストベンチマークでGPT-4をはるかに少ないパラメータで上回っています。