Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
MIT-onderzoekers stellen Recursieve Taalmodellen voor
Je gaat hier in 2026 meer over horen.
Waarom is het belangrijk?
Wat als LLM's invoer van 100x langer dan hun contextvenster zouden kunnen verwerken?
De contextlengte is een harde beperking.
Je kunt het uitbreiden met architectonische veranderingen, maar er is altijd een limiet. De meeste benaderingen proberen meer in het venster te proppen of wat niet past te comprimeren.
Dit nieuwe onderzoek neemt een andere benadering. In plaats van de contextlimiet te bestrijden, werk je er programmatig omheen.
Recursieve Taalmodellen (RLM's) beschouwen lange prompts als een externe omgeving. Het model kan de prompt onderzoeken, deze in secties decomponeren en zichzelf recursief aanroepen op fragmenten. Het is schaling in inferentietijd toegepast op de contextlengte.
In plaats van alles in één keer door aandacht te dwingen, laat je het model strategisch informatie partitioneren en verwerken over meerdere recursieve aanroepen.
De resultaten zijn indrukwekkend. RLM's kunnen invoer tot twee ordes van grootte boven modelcontextvensters succesvol verwerken. Een model met een 8K-context kan effectief 800K tokens verwerken.
Maar hier is wat verrassend is: zelfs voor kortere prompts die binnen de context passen, presteren RLM's dramatisch beter dan basis-LLM's en gangbare lange-context steigers over vier verschillende taken.
Dit suggereert iets interessants.
Misschien is sequentiële aandacht over de gehele invoer niet altijd de beste strategie, zelfs wanneer het technisch mogelijk is. Programmatistische decompositie en recursieve verwerking kunnen fundamenteel beter zijn voor bepaalde taken.
De benadering bereikt vergelijkbare of goedkopere kosten per query in vergelijking met alternatieve lange-contextmethoden.
Beperkingen in de contextlengte beperken wat agenten kunnen doen. Het verwerken van volledige codebases, lange documenten of uitgebreide gespreksgeschiedenissen vereist oplossingen. RLM's bieden een algemene inferentiestrategie die contextlimieten omzet in een zachte beperking in plaats van een harde.

Boven
Positie
Favorieten
