Google Research щойно опублікувала два прориви у послідовному моделюванні: 🔹Титани — глибока архітектура нейронної пам'яті 🔹MIRAS — об'єднуючий фреймворк для довгострокової пам'яті ШІ. Titans вивчає та оновлює пам'ять на ходу, використовуючи «метрику несподіванки», щоб захоплювати лише найважливішу нову інформацію. MIRAS надає шаблон: оптимізація в реальному часі, згасання пам'яті та неевклідові функції втрат, які перевершують Transformers і Mamba на наддовгих завданнях, масштабованих до 2M+ токенів. Titans перевершує GPT-4 на надзвичайно довгих тестах, таких як BABILong, маючи значно менше параметрів.