Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Pesquisadores do MIT propõem Modelos de Linguagem Recursivos
Você vai ouvir mais sobre isso em 2026.
Por que isso é importante?
E se os LLMs pudessem processar entradas 100x mais longas do que sua janela de contexto?
O comprimento do contexto é uma restrição rígida.
Você pode estendê-lo com mudanças arquitetônicas, mas sempre há um limite. A maioria das abordagens tenta espremer mais na janela ou comprimir o que não cabe.
Esta nova pesquisa adota uma abordagem diferente. Em vez de lutar contra o limite de contexto, trabalhe ao redor dele programaticamente.
Modelos de Linguagem Recursivos (RLMs) tratam prompts longos como um ambiente externo. O modelo pode examinar o prompt, decompô-lo em seções e chamar a si mesmo recursivamente em trechos. É escalonamento em tempo de inferência aplicado ao comprimento do contexto.
Em vez de forçar tudo através da atenção em uma única passagem, deixe o modelo particionar e processar informações estrategicamente em várias chamadas recursivas.
Os resultados são impressionantes. Os RLMs lidam com entradas até duas ordens de magnitude além das janelas de contexto do modelo. Um modelo com um contexto de 8K pode processar efetivamente 800K tokens.
Mas aqui está o que é surpreendente: mesmo para prompts mais curtos que cabem dentro do contexto, os RLMs superam dramaticamente os LLMs base e as estruturas comuns de longo contexto em quatro tarefas diversas.
Isso sugere algo interessante.
Talvez a atenção sequencial sobre toda a entrada não seja sempre a melhor estratégia, mesmo quando é tecnicamente possível. A decomposição programática e o processamento recursivo podem ser fundamentalmente melhores para certas tarefas.
A abordagem alcança um custo por consulta comparável ou mais barato em relação a métodos alternativos de longo contexto.
As limitações do comprimento do contexto restringem o que os agentes podem fazer. Processar bases de código inteiras, documentos longos ou históricos de conversas prolongadas requer soluções alternativas. Os RLMs oferecem uma estratégia de inferência geral que transforma limites de contexto em uma restrição suave em vez de uma rígida.

Top
Classificação
Favoritos
