De Transformer-architectuur is in wezen een parallelle processor van context, maar redeneren is een sequentieel, iteratief proces. Om complexe problemen op te lossen, heeft een model een "scratchpad" nodig, niet alleen in zijn output CoT, maar ook in zijn interne toestand. Een differentieerbare manier om te lussen, takken en terug te gaan totdat het model een oplossing vindt die werkt.