Musíme opravit architekturu, kontext s pohyblivým oknem není agentní paměť 🧵

Kontext 1/rolling window není paměť agenta. Většina lidí, kteří staví s AI agenty, rozdíl nepozná. A to ničí jejich produkty.

2/a rolling window je jen to, co LLM teď vidí. (Dočasné. Bez státní příslušnosti. Slepý za oknem.) Je to aktivní konverzace (žetony dovnitř, žetony ven). Jakmile něco překročí limit, je to pryč. úplně. Model vůbec netuší, že kdy existoval.

3/agentní paměť je něco úplně jiného. (To je rozdíl mezi RAM a pevným disku.) Je to explicitní úložiště (fakta, preference, minulé interakce), které žije mimo model. Lze ji dotazovat, aktualizovat, mazat. přežije konce sezení.

4/Bez skutečné paměti se agenti vlastně z minulých rozhovorů neučí. (Je to jen velmi sebevědomá halucinace.) Místo toho hádají. Vzory se shodují v současném okně a předstírají kontinuitu. Vypadá to srozumitelně. Není.

5/Spojování těchto dvou věcí je místo, kde se tiše pokazí. Předpokládáte, že váš agent zná uživatelovy preference. Nefunguje (to je jen kontextově vysklé před dvěma sezenmi). Zdálo se, že si to pamatuje. Pracoval jen s tím, co bylo před ním.

Tvůj agent není rozbitý. Jen nikdy neměl paměť.