Et GPT-5.4-rykte var at modellen kan opprettholde tilstand. Jeff Dean nevnte dette på sin @latentspacepod opptreden, så det er tydeligvis noe AI-laboratoriene tenker på. Jeg vil tippe det er stor sjanse for at de har oppdaget hvordan de effektivt kan integrere State-Space Models med Transformers i stor skala. SSM-er er designet for å føre en skjult tilstand fremover med hvert beregningssteg, og skalerer lineært i stedet for kvadratisk som Transformers. Dette støtter også ryktet om at GPT-5.4 vil ha et kontekstvindu på 2 millioner tokens. Persistent tilstand ville i praksis bety at AI-modeller går fra å være Guy Pearces karakter i «Memento» til Dustin Hoffmans karakter i «Rain Man» over natten. Det ville gi AI-modeller ekte langtidsminne. Det ville vært et enormt gjennombrudd på ekte.