Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Všem tu uniká skutečný příběh.
Tohle není "technika podnětů". Článek se jmenuje Rekurzivní jazykové modely, nikoli "Rekurzivní metakognice". A autoři nejsou náhodní výzkumníci, kteří by se snažili získat počet citací.
Omar Khattab vytvořil DSPy, která má 31 000+ hvězd na GitHubu, a změnil způsob, jakým lidé staví složené AI systémy. Tim Kraska byl průkopníkem struktur naučených indexů spolu s Jeffem Deanem v Googlu a vede MIT Data Systems and AI Lab. Alex Zhang je doktorand pracující na průsečíku obou těchto oblastí.
Samotný článek řeší konkrétní problém: LLM se zhoršují v dlouhém kontextu. Graf ukazuje, že výkon GPT-5 klesá, když délka vstupu škáluje z 2^14 na 2^21 tokenů, zatímco RLM si udržují stabilní výkon. Zpracovávají vstupy stokrát víc než kontextová okna.
Klíčový poznatek z Khattabova vlastního Twitteru: "Většina lidí si RLM mylně vkládá jako o tom, že se LLM vyvolávají samy sebe. Hlubší vhled spočívá v tom, že LLM interagují se svými vlastními prompty jako objekty."
To rozšiřuje celý výzkumný oblouk Khattaba. DSPy proměnil prompty v programové moduly. ColBERT udělal získávání chytřejším. RLM přeměňují samotný kontext na něco, co model může manipulovat jako s daty v paměti.
Prime Intellect, jedna z předních decentralizovaných AI laboratoří, na tom již staví. Napsali, že RLM jim umožní "naučit modely spravovat svůj vlastní kontext end-to-end pomocí posilovaného učení" pro agenty běžící týdny nebo měsíce.
Opravdový obchod? To řeší omezení, kterému čelí každá AI laboratoř: kontextová okna jsou tvrdý strop. Rozšiřování těchto projektů prostřednictvím architektury a školení je drahé. RLM nabízejí přístup s časem inference, který pracuje s existujícími modely.
Ale pozor na háček: to vyžaduje modely, které dokážou spolehlivě psát a vykonávat kód. Benchmarky používají GPT-5 v Python REPL. Modely se slabším generováním kódu budou mít problém implementovat rekurzivní dekompozici čistě. Technika se škáluje podle schopnosti kódu, nejen podle schopnosti uvažování.
Top
Hodnocení
Oblíbené
