Google Research acaba de lanzar dos avances en modelado de secuencias: 🔹Titanes, una arquitectura de memoria neural profunda 🔹MIRAS, un marco unificador para la memoria de IA a largo plazo. Titans aprende y actualiza la memoria sobre la marcha usando una "métrica sorpresa" para capturar solo la información nueva más importante. MIRAS proporciona el plano: optimización en tiempo real, decaimiento de memoria y funciones de pérdida no euclidianas que superan a Transformers y Mamba en tareas ultralargas que escalan hasta 2M+ tokens. Titans supera a GPT-4 en benchmarks extremos de contexto largo como BABILong usando muchos menos parámetros.