Google hat gerade Sprachmodellen echtes Langzeitgedächtnis gegeben. Eine neue Architektur lernt während der Inferenz und behält den Kontext über Millionen von Tokens. Sie hat eine Genauigkeit von ~70 Prozent bei 10 Millionen Tokens. 𝗗𝗶𝗲𝘀𝗲 𝗔𝗿𝗰𝗵𝗶𝘁𝗲𝗸𝘁𝘂𝗿 𝗹𝗲𝗮𝗿𝗻𝘁 𝗯𝗲𝗶 𝗱𝗲𝗻 𝗘𝗻𝗱𝗽𝗵𝗮𝘀𝘀 Titans fügt ein neuronales Langzeitgedächtnis hinzu, das sich während der Generierung aktualisiert. Nicht Gewichte. Kein Retraining. Live-Lernen. • Ein kleines neuronales Netzwerk speichert langfristigen Kontext • Es aktualisiert sich nur, wenn etwas Unerwartetes erscheint • Routinetokens werden ignoriert, um schnell zu bleiben Das ermöglicht es dem Modell, Fakten aus viel früherem Text zu erinnern, ohne alles erneut scannen zu müssen. 𝗘𝘀 𝗯𝗹𝗲𝗶𝗯𝘁 𝗳𝗹𝗲𝗸𝘁𝗶𝗯𝗲 𝗯𝗲𝗶 𝗱𝗲𝗻 𝗦𝗰𝗮𝗹𝗶𝗻𝗴 𝗱𝗲𝘀 𝗖𝗼𝗻𝘁𝗲𝘅𝘁𝘀 Die Aufmerksamkeit bleibt lokal. Das Gedächtnis kümmert sich um die Vergangenheit. • Lineare Inferenzkosten • Keine quadratischen Aufmerksamkeitsausbrüche • Stabile Genauigkeit über zwei Millionen Tokens hinaus 𝗘𝘀 𝗲𝗿𝗵𝗼𝗹𝗱𝗲𝘁 𝗱𝗶𝗿 𝗻𝗲𝘂𝗲 𝗔𝗽𝗽-𝗦𝗼𝗿𝘁𝗲𝗻 𝗯𝗮𝘂𝗲𝗻 Du kannst ganze Bücher, Protokolle oder Genome in einem Durchgang verarbeiten. Du kannst den Zustand über lange Sitzungen hinweg beibehalten. Du kannst aufhören, den Kontext zu chunkieren, nur um die Grenzen zu überstehen.