Kita perlu memperbaiki arsitektur, konteks jendela bergulir bukanlah memori 🧵 agen

1/Konteks jendela bergulir bukan memori agen. kebanyakan orang yang membangun dengan agen AI tidak tahu perbedaannya. dan itu merusak produk mereka.

2/a rolling window adalah apa yang dapat dilihat LLM saat ini. (sementara. tanpa kewarganegaraan. buta di luar jendela.) Ini adalah percakapan aktif (token masuk, token keluar). Begitu sesuatu menggulir melewati batas, itu hilang. sepenuhnya. model itu tidak tahu itu pernah ada.

3/Memori agen adalah sesuatu yang sama sekali berbeda. (Ini adalah perbedaan antara RAM dan hard drive.) itu penyimpanan eksplisit (fakta, preferensi, interaksi masa lalu) yang hidup di luar model. itu dapat dikueri, diperbarui, dihapus. itu bertahan dari akhir sesi.

4/Tanpa ingatan nyata, agen tidak benar-benar belajar dari percakapan masa lalu. (Itu hanya halusinasi yang sangat percaya diri.) apa yang mereka lakukan sebaliknya adalah menebak. mereka cocok dengan pola di dalam jendela saat ini dan kontinuitas palsu. Itu terlihat koheren. Tidak.

5/menggabungkan keduanya adalah di mana ada yang salah secara diam-diam. Anda menganggap agen Anda mengetahui preferensi pengguna. tidak (itu hanya konteks yang digulir keluar dua sesi yang lalu). sepertinya diingat. itu hanya bekerja dengan apa yang ada di depannya.

Agen Anda tidak rusak. itu tidak pernah memiliki ingatan untuk memulai.