L'architecture Transformer est fondamentalement un processeur parallèle de contexte, mais le raisonnement est un processus séquentiel et itératif. Pour résoudre des problèmes complexes, un modèle a besoin d'un "carnet de notes" non seulement dans son CoT de sortie, mais aussi dans son état interne. Une manière différentiable de boucler, de ramifier et de revenir en arrière jusqu'à ce que le modèle trouve une solution qui fonctionne.