Google heeft taalmodellen net echte langetermijngeheugen gegeven. Een nieuwe architectuur leert tijdens inferentie en houdt context vast over miljoenen tokens. Het heeft ~70 procent nauwkeurigheid bij 10 miljoen tokens. 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans voegt een neuronaal langetermijngeheugen toe dat tijdens generatie wordt bijgewerkt. Geen gewichten. Geen hertraining. Live leren. • Een klein neuraal netwerk slaat langetermijncontext op • Het wordt alleen bijgewerkt wanneer er iets onverwachts verschijnt • Routinetokens worden genegeerd om snel te blijven Dit stelt het model in staat om feiten uit veel eerder tekst te onthouden zonder alles opnieuw te scannen. 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 Aandacht blijft lokaal. Geheugen behandelt het verleden. • Lineaire inferentiekosten • Geen kwadratische aandachtsexplosies • Stabiele nauwkeurigheid voorbij twee miljoen tokens 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 Je kunt volledige boeken, logboeken of genoom in één keer verwerken. Je kunt de status behouden over lange sessies. Je kunt stoppen met het chunking van context alleen om de limieten te overleven.