Wauw, kan AI leren van een document terwijl het het leest? Onderzoekers van het Astera Institute, NVIDIA en anderen presenteren een nieuwe methode die langetermijnmodellering behandelt als een probleem van continue leren. Ze gebruiken een standaard Transformer, maar het "bestudeert" de tekst in real-time via next-token voorspelling, waarbij de context in zijn eigen parameters wordt gecomprimeerd. Het presteert beter dan modellen zoals Mamba 2 en Gated DeltaNet in het schalen naar lange contexten, terwijl het 2,7x sneller is dan volledige aandacht voor 128K invoer. End-to-End Test-Tijd Training voor Lange Context Paper: