Une rumeur sur GPT-5.4 était que le modèle peut conserver un état. Jeff Dean en a parlé lors de son apparition sur @latentspacepod, donc c'est clairement quelque chose auquel les laboratoires d'IA réfléchissent. Je parierais qu'il y a de bonnes chances qu'ils aient découvert comment intégrer efficacement les modèles d'état-espace avec des Transformers à grande échelle. Les SSM sont conçus pour porter un état caché en avant à chaque étape computationnelle, et évoluent de manière linéaire plutôt que quadratique comme les Transformers. Cela soutient également la rumeur selon laquelle GPT-5.4 aura une fenêtre de contexte de 2 millions de tokens. Un état persistant signifierait essentiellement que les modèles d'IA passent du personnage de Guy Pearce dans "Memento" à celui de Dustin Hoffman dans "Rain Man" du jour au lendemain. Cela donnerait aux modèles d'IA une véritable mémoire à long terme. Ce serait une avancée massive pour de vrai.