🚨紙 🚨 もしLLMが推論を終える前に失敗すると言ったらどうでしょう? 私たちはモデルを訓練し、自分自身の未来を予測しました。成功するかどうか、そしてどれくらい時間がかかるかを。すべてのトークンでリアルタイムで、追加の計算なしで。 これを用いてテスト時間計算のための適応サンプリングアルゴリズムを開発しました。👇🧵