Google ga nettopp språkmodeller ekte langtidsminne. En ny arkitektur lærer under inferensen og beholder kontekst på tvers av millioner av tokens. Den har ~70 prosent nøyaktighet på 10 millioner tokens. Denne arkitekturen lærer mens den kjører Titans legger til et nevralt langtidsminne som oppdateres under genereringen. Ikke vekter. Ikke omskolering. Levende læring. • Et lite nevralt nettverk lagrer langdistansekontekst • Den oppdateres bare når noe uventet dukker opp • Rutinetokens ignoreres for å holde seg raske Dette lar modellen huske fakta fra mye eldre tekster uten å måtte skanne alt på nytt. Den holder farten samtidig som den skalerer konteksten Oppmerksomheten holder seg lokal. Hukommelsen håndterer fortiden. • Lineær slutningskostnad • Ingen kvadratiske oppmerksomhetsoppblåsninger • Stabil nøyaktighet over to millioner tokens Det lar deg bygge nye typer apper Du kan behandle hele bøker, logger eller genomer i ett pass. Du kan holde stat over lange økter. Du kan slutte å dele kontekst bare for å overleve grenser.