Google Research vừa công bố hai đột phá trong mô hình chuỗi: 🔹Titans, một kiến trúc bộ nhớ nơ-ron sâu 🔹MIRAS, một khung thống nhất cho bộ nhớ AI dài hạn. Titans học và cập nhật bộ nhớ ngay lập tức bằng cách sử dụng "chỉ số bất ngờ" để chỉ nắm bắt những thông tin mới quan trọng nhất. MIRAS cung cấp bản thiết kế: tối ưu hóa theo thời gian thực, suy giảm bộ nhớ và các hàm mất mát phi Euclid vượt trội hơn Transformers và Mamba trong các nhiệm vụ siêu dài lên đến 2 triệu token. Titans vượt qua GPT-4 trong các tiêu chuẩn ngữ cảnh dài cực đoan như BABILong với số lượng tham số ít hơn rất nhiều.