トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Robert Youssef
なんてこと。。。スタンフォードは、なぜLLMが賢そうに聞こえるのに、現実が反発するとすぐに失敗するのかを示しました。
この論文は、構築エージェントが誰もが目にした過酷な失敗モードに取り組んでいます。すなわち、モデルに過小評価されたタスクを与えれば、モデルは欠けているピースを喜んで幻覚のように見せ、流暢に見える計画を作り出し、実行すると崩壊します。
核心的な洞察はシンプルですが、プロンプトのみのアプローチでは致命的です。前提条件が不明になると推論は崩れます。そして、ほとんどの現実のタスクは未知の要素で溢れています。
スタンフォードの解決策は自己問い合わせ双方向カテゴリ計画(SQ-BCP)と呼ばれ、モデルに知らないことを装うのをやめさせます。
欠落した事実を仮定する代わりに、すべてのアクションはその前提条件を明示的に追跡します:
・満足
・違反
・不明
「不明」が鍵です。モデルが未知の領域に到達すると、進行を許されません。
それは以下のいずれかでなければなりません:
1. 欠けている事実を解決するためにターゲットを絞った質問をする
または
2. まず条件を確立するブリッジアクション(測定、チェック、準備など)を提案します。
すべての前提条件が解決されて初めて、計画は継続されます。
しかし、本当の突破口はこうです。計画が目標に近づいているからといって受け入れられるわけではありません。
これらは圏論的なプルバックチェックを用いた形式的な検証ステップを通過した場合のみ受け入れられます。類似度スコアはランキングのためのみ使用され、正確さには使われません。
つまり、きれいな計画はカウントされないということです。実行可能な計画がそうです。
その結果は驚くべきものです。
WikiHowとRecipeNLGの隠れた制約があるタスクについて:
・資源違反率は26%から14.9%→減少
・15.7%→5.8%
競争力のあるクオリティスコアを維持しつつ、
さらに探しても効果はなかった。
長い思考の連鎖は助けにならなかった。
Self-Askだけでも制約は見逃せなかった。
実際に効果があったのは、不確実性を一流の対象として扱い、解決されるまで前に進まないことでした。
この論文は静かに線を引いています。
エージェントの失敗はモデルのサイズの問題ではありません。
彼らは不完全な情報が完成しているかのように装うことに関わっています。
もし単に語り手だけでなく、行動するエージェントが欲しいなら、これが今後の方向性です。
46
トップ
ランキング
お気に入り