Trebuie să reparăm arhitectura, contextul ferestrei rulante nu este memorie 🧵 agent

1/contextul ferestrei rulante nu este memorie agent. majoritatea celor care construiesc cu agenți AI nu știu diferența. Și le strică produsele.

Fereastra rulantă 2/A este doar ceea ce poate vedea LLM-ul acum. (Temporar. Apatrid. Orb în afara ferestrei.) Este conversația activă (jetoane înăuntru, jetoane afară). Odată ce ceva derulează peste limită, dispare. Complet. modelul nu are nicio idee că a existat vreodată.

Memoria 3/agent este cu totul altceva. (Este diferența dintre RAM și hard disk.) Este o stocare explicită (fapte, preferințe, interacțiuni anterioare) care trăiește în afara modelului. Poate fi interogată, actualizată, ștearsă. Supraviețuiește finalurilor de sesiune.

4/fără memorie reală, agenții nu învață de fapt din conversațiile anterioare. (E doar o halucinație foarte încrezătoare.) ceea ce fac ei în schimb este să ghicească. Ele se potrivesc cu tiparele în interiorul ferestrei curente și o continuitate falsă. Pare coerent. Nu este.

5/confundarea celor două este momentul în care lucrurile merg prost în tăcere. Presupui că agentul tău cunoaște preferințele utilizatorului. Nu se întâmplă (asta e doar contextul derulat acum două sesiuni). părea că și-a amintit. era doar să lucreze cu ceea ce era în față.

Agentul tău nu e stricat. Pur și simplu nu a avut niciodată memorie de la început.