Nous avons une longue histoire d'innovations en matière d'architecture de modèles, et nous continuons à explorer de nouvelles idées. Voici quelques travaux préliminaires qui montrent des résultats prometteurs sur l'extension de la longueur de contexte sur laquelle un modèle peut raisonner.