Google Araştırması, dizi modellemesinde iki atılım yaptı: 🔹Titanlar, derin bir sinirsel bellek mimarisi 🔹MIRAS, uzun vadeli yapay zeka belleği için birleştirici bir çerçeve. Titans, yalnızca en önemli yeni bilgileri yakalamak için "sürpriz metrik" kullanarak anı anında öğrenir ve günler. MIRAS bu planı sağlar: gerçek zamanlı optimizasyon, bellek bozulması ve Transformers ile Mamba'yı 2M+ token'a ölçekleyen ultra uzun görevlerde Transformers ve Mamba'yı geride bırakan Öklid dışı kayıp fonksiyonları. Titans, BABILong gibi aşırı uzun bağlamlı benchmarklarda çok daha az parametreyle GPT-4'ü geride bırakıyor.