Google Research tocmai a lansat două descoperiri în modelarea secvențelor: 🔹Titani, o arhitectură profundă a memoriei neuronale 🔹MIRAS, un cadru unificator pentru memoria AI pe termen lung. Titans învață și actualizează memoria din mers folosind o "metrică surpriză" pentru a surprinde doar cele mai importante informații noi. MIRAS oferă planul: optimizare în timp real, degradare a memoriei și funcții de pierdere non-euclidiene care depășesc Transformers și Mamba la sarcini ultra-lungi care scalează până la 2M+ tokenuri. Titans îl depășește pe GPT-4 la benchmark-uri extrem de lungi precum BABILong, folosind mult mai puțini parametri.