Google Research ha appena rilasciato due innovazioni nella modellazione delle sequenze: 🔹Titans, un'architettura di memoria neurale profonda 🔹MIRAS, un framework unificante per la memoria AI a lungo termine. Titans apprende e aggiorna la memoria al volo utilizzando una "metrica di sorpresa" per catturare solo le informazioni nuove più importanti. MIRAS fornisce il progetto: ottimizzazione in tempo reale, decadimento della memoria e funzioni di perdita non euclidee che superano i Transformers e Mamba in compiti ultra-lunghi che scalano fino a 2M+ token. Titans supera GPT-4 in benchmark di contesto estremo come BABILong utilizzando un numero di parametri molto inferiore.