トランスフォーマーアーキテクチャは基本的にコンテキストの並列処理ですが、推論は連続的かつ反復的なプロセスです。 複雑な問題を解くためには、モデルは出力CoTだけでなく内部状態にも「スクラッチパッド」が必要です。モデルがうまくいく解を見つけるまで、微分可能なループ、分岐、バックトラッキングの方法です。