Google Research právě přinesl dva průlomy v sekvenčním modelování: 🔹Titans, architektura hluboké neuronové paměti 🔹MIRAS, sjednocující rámec pro dlouhodobou paměť AI. Titans se učí a aktualizuje paměť za běhu pomocí "překvapivé metriky", která zachytí pouze ty nejdůležitější nové informace. MIRAS poskytuje plán: optimalizaci v reálném čase, pokles paměti a neeukleidovské ztrátové funkce, které překonávají Transformers a Mambu na ultra dlouhých úkolech škálujících na 2M+ tokeny. Titans poráží GPT-4 na extrémně dlouhých kontextových benchmarkech jako BABILong a používá mnohem méně parametrů.