Google Research baru saja menjatuhkan dua terobosan dalam pemodelan urutan: 🔹Titans, arsitektur memori saraf yang dalam 🔹MIRAS, kerangka kerja pemersatu untuk memori AI jangka panjang. Titans mempelajari dan memperbarui memori dengan cepat menggunakan "metrik kejutan" untuk menangkap hanya info baru yang paling penting. MIRAS menyediakan cetak biru: pengoptimalan waktu nyata, peluruhan memori, dan fungsi kehilangan non-Euclidean yang mengungguli Transformers dan Mamba pada tugas yang sangat panjang yang menskalakan ke 2M+ token. Titans mengalahkan GPT-4 pada tolok ukur konteks panjang yang ekstrem seperti BABILong menggunakan parameter yang jauh lebih sedikit.