Wow, AI kan lære av et dokument mens den leser det? Forskere fra Astera Institute, NVIDIA og andre presenterer en ny metode som behandler langkontekstmodellering som et kontinuerlig læringsproblem. De bruker en standard Transformer, men den «studerer» teksten i sanntid via next-token-prediksjon, og komprimerer konteksten inn i sine egne parametere. Den overgår modeller som Mamba 2 og Gated DeltaNet når det gjelder skalering til lange kontekster, samtidig som den er 2,7 ganger raskere enn full oppmerksomhet for 128K-innganger. Ende-til-ende testtidstrening for lang kontekst Artikkel: