dobbiamo sistemare l'architettura, il contesto della finestra mobile non è memoria dell'agente 🧵

1/il contesto della finestra mobile non è la memoria dell'agente. la maggior parte delle persone che costruiscono con agenti AI non conosce la differenza. e sta rovinando i loro prodotti.

Una finestra mobile 2/a è proprio ciò che il LLM può vedere in questo momento. (temporanea. senza stato. cieca al di fuori della finestra.) è la conversazione attiva (token in, token out). una volta che qualcosa scorre oltre il limite, è andato. completamente. il modello non ha idea che sia mai esistito.

La memoria dell'agente è qualcosa di completamente diverso. (è la differenza tra RAM e un disco rigido.) è uno storage esplicito (fatti, preferenze, interazioni passate) che vive al di fuori del modello. può essere interrogato, aggiornato, eliminato. sopravvive alla fine delle sessioni.

4/senza una vera memoria, gli agenti non apprendono realmente dalle conversazioni passate. (è solo un'allucinazione molto sicura.) quello che fanno invece è indovinare. abbinano schemi all'interno della finestra attuale e fingono continuità. sembra coerente. non lo è.

5/conflatare i due è dove le cose vanno male silenziosamente. assumi che il tuo agente conosca le preferenze dell'utente. non lo fa (è solo un contesto scorrendo due sessioni fa). sembrava che ricordasse. stava solo lavorando con ciò che aveva davanti.

il tuo agente non è rotto. semplicemente non ha mai avuto memoria fin dall'inizio.