Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Wszyscy pomijają prawdziwą historię.
To nie jest „technika podpowiadania”. Artykuł nosi tytuł Modele Językowe Rekurencyjne, a nie „Rekurencyjna Meta-Kognicja”. A autorzy to nie przypadkowi badacze walczący o liczbę cytatów.
Omar Khattab stworzył DSPy, które ma ponad 31 000 gwiazdek na GitHubie i zmieniło sposób, w jaki ludzie budują złożone systemy AI. Tim Kraska był pionierem struktur indeksów uczonych z Jeffem Deanem w Google i prowadzi Laboratorium Systemów Danych i AI na MIT. Alex Zhang jest studentem doktoranckim pracującym na styku obu dziedzin.
Rzeczywisty artykuł dotyczy konkretnego problemu: LLM-y degradują w długim kontekście. Wykres pokazuje, jak wydajność GPT-5 załamuje się, gdy długość wejścia rośnie z 2^14 do 2^21 tokenów, podczas gdy RLM-y utrzymują stabilną wydajność. Radzą sobie z wejściami 100 razy przekraczającymi okna kontekstowe.
Kluczowy wgląd z Twittera Khattaba: „Większość ludzi myli RLM-y z LLM-ami, które wywołują same siebie. Głębszy wgląd polega na tym, że LLM-y wchodzą w interakcje ze swoimi własnymi podpowiedziami jako obiektami.”
To rozszerza cały łuk badań Khattaba. DSPy przekształciło podpowiedzi w moduły programowe. ColBERT uczynił wyszukiwanie mądrzejszym. RLM-y przekształcają sam kontekst w coś, co model może manipulować jak danymi w pamięci.
Prime Intellect, jedno z wiodących zdecentralizowanych laboratoriów AI, już na tym buduje. Napisali, że RLM-y pozwolą im „uczyć modele zarządzania własnym kontekstem od początku do końca poprzez uczenie przez wzmocnienie” dla agentów działających przez tygodnie lub miesiące.
Prawdziwa wymiana? To rozwiązuje ograniczenie, z którym boryka się każde laboratorium AI: okna kontekstowe to twardy sufit. Rozszerzanie ich poprzez architekturę i trening jest kosztowne. RLM-y oferują podejście w czasie wnioskowania, które działa z istniejącymi modelami.
Ale uważaj na haczyk: to wymaga modeli, które mogą niezawodnie pisać i wykonywać kod. Benchmarki używają GPT-5 w Python REPL. Modele z słabszą generacją kodu będą miały trudności z czystym wdrożeniem rekurencyjnej dekompozycji. Technika skaluje się z możliwościami kodowania, a nie tylko z możliwościami rozumowania.
Najlepsze
Ranking
Ulubione
