Des chercheurs du MIT proposent des Modèles de Langage Récursifs Vous allez en entendre parler davantage en 2026. Pourquoi cela importe-t-il ? Que se passerait-il si les LLM pouvaient traiter des entrées 100 fois plus longues que leur fenêtre de contexte ? La longueur du contexte est une contrainte difficile. Vous pouvez l'étendre avec des changements architecturaux, mais il y a toujours une limite. La plupart des approches essaient de faire entrer plus dans la fenêtre ou de compresser ce qui ne rentre pas. Cette nouvelle recherche adopte une approche différente. Au lieu de lutter contre la limite de contexte, contournez-la de manière programmatique. Les Modèles de Langage Récursifs (RLM) traitent les longues invites comme un environnement externe. Le modèle peut examiner l'invite, la décomposer en sections et s'appeler récursivement sur des extraits. C'est une mise à l'échelle en temps d'inférence appliquée à la longueur du contexte. Au lieu de forcer tout à passer par l'attention en un seul passage, laissez le modèle partitionner stratégiquement et traiter l'information à travers plusieurs appels récursifs. Les résultats sont impressionnants. Les RLM gèrent avec succès des entrées jusqu'à deux ordres de grandeur au-delà des fenêtres de contexte du modèle. Un modèle avec un contexte de 8K peut traiter efficacement 800K tokens. Mais voici ce qui est surprenant : même pour des invites plus courtes qui rentrent dans le contexte, les RLM surpassent de manière spectaculaire les LLM de base et les échafaudages de long contexte communs dans quatre tâches diverses. Cela suggère quelque chose d'intéressant. Peut-être que l'attention séquentielle sur l'ensemble de l'entrée n'est pas toujours la meilleure stratégie, même quand c'est techniquement possible. La décomposition programmatique et le traitement récursif pourraient être fondamentalement meilleurs pour certaines tâches. L'approche atteint un coût par requête comparable ou moins cher par rapport aux méthodes alternatives de long contexte. Les limitations de longueur de contexte contraignent ce que les agents peuvent faire. Traiter des bases de code entières, de longs documents ou des historiques de conversation étendus nécessite des solutions de contournement. Les RLM offrent une stratégie d'inférence générale qui transforme les limites de contexte en une contrainte souple plutôt qu'en une contrainte dure.