Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Efektivní celoživotní paměť pro LLM agenty
LLM agenti potřebují paměť pro zvládání dlouhých rozhovorů. Dnes se to řeší tak, že paměť buď uchovává plnou historii interakcí, což vede k masivní redundanci, nebo spoléhá na iterativní uvažování k filtrování šumu a spotřebovává nadměrné množství tokenů.
Tento nový výzkum představuje SimpleMem, efektivní paměťový rámec založený na sémantické bezztrátové kompresi, který maximalizuje hustotu informací a zároveň minimalizuje spotřebu tokenů.
Rámec funguje na třífázovém potrubí.
1) Nejprve Sémantická strukturovaná komprese aplikuje filtrování s vědomím entropie k destilaci surového dialogu do kompaktních paměťových jednotek, přičemž se vyřeší koreference a relativní časové výrazy ("poslední pátek") se převedou na absolutní časová razítka.
2) Za druhé, Rekurzivní konsolidace paměti postupně integruje související vzpomínky do vyšších úrovní abstrakcí, čímž se opakující se záznamy jako "objednal jsem si latte v 8 ráno" mění na vzory jako "pravidelně ráno pijem kávu."
3) Za třetí, adaptivní vyhledávání s vědomím dotazů dynamicky upravuje rozsah vyhledávání na základě složitosti dotazu.
Výsledky: Na benchmarku LoCoMo s GPT-4.1-mini dosahuje SimpleMem hodnoty 43,24 F1, což překoná nejsilnější základní Mem0 (34,20) o 26,4 %, přičemž snižuje spotřebu tokenů na pouhých 531 tokenů na dotaz oproti 16 910 u přístupů s plným kontextem, což je 30násobné snížení.
Tvrdí, že konstrukce paměti je 14x rychlejší než Mem0 (92,6 s vs 1350,9 s na vzorek) a 50x rychlejší než A-Mem. Dokonce i model s 3B parametry se SimpleMem překonává větší modely s horšími paměťovými strategiemi.
Tato práce ukazuje, že strukturovaná sémantická komprese a adaptivní vyhledávání umožňují agentům LLM udržovat spolehlivou dlouhodobou paměť, aniž by se utopili v tokenech nebo obětovali přesnost.

Top
Hodnocení
Oblíbené
