🚨 この論文は、なぜ多くのいわゆる「AIトレーダー」が賢く見えるのかを明らかにしますが、彼らの思考方法を調べてみてください。 問題はモデルが弱いことではありません。彼らが訓練される報酬信号が根本的に不誠実だからです。 市場リターンを直接LLMエージェントに訓練すると、すぐに近道を見つけます。証拠を論理的に考える代わりに、歴史的に好成績を収めた資産を暗記し、その記憶に基づいて取引を行い、その後で説明を捏造します。この取引は時に効果があるので、報酬がその行動を強化します。理由は重要ではなかった。 この論文はこの失敗モードを明確に示しています。市場のみの強化学習エージェントはA株市場で37.62%の累積リターンを達成しますが、推論類似度スコアは0.4369に崩壊します。さらに悪いことに、幻覚の発生率は22.5%に跳ね上がっています。簡単に言えば、偶然に利益を生み、原因について不誠実です。 これは典型的な報酬ハッキングです。 著者らの中心的な洞察は微妙だが壊滅的である。金融市場のような確率的環境では、結果だけで推論を検証できない。ランダム性は悪い判断を良く見せることもあります。評価できるのは意思決定過程そのものだけです。 だから目的を変えるんだ。取引が利益を生んだかどうかを問うのではなく、その決定が論理的に証拠に基づいていたかどうかを問うのです。 彼らは、すべての行動を三つの次元で評価する三角検証プロトコルを導入しています。すなわち、推論が証拠に忠実であるか、決定が論理的に推論から導かれるか、そして決定が証拠と直接的に整合しているかという点です。最終スコアは3つの平均値であり、モデルが利用できる単一のショートカットを除外します。 数学的にこれが機能する理由が説明できます。 彼らは市場報酬をr = r* + ξとしてモデル化し、ここでare*は推論によって正当化される真の価値、ξは市場ノイズです。標準的な強化学習はξの分散に支配され、モデルは因果律よりもボラティリティ追いに傾いています。 重要なのは、取引自体ではありません。 ノイズの多い結果で訓練された強化学習システムに対する警告です。推論ではなく結果を評価すれば、モデルは運が良くなり、説得力のある嘘をつき、それを知性と呼ぶようになります。 全文はこちらをご覧ください:

Anthropicの内部プロンプトスタイルは、多くの人が教えるものとは全く異なります。 公式のプロンプトライブラリ、ドキュメント、APIの例を3週間かけて分析しました。 100%正確なClaude出力👇のためのすべての秘密をご紹介します

この研究論文は、なぜ「アライズドAI」が実際の企業内で失敗し続けるのかを明らかにします。 企業はアライメントを、一度スイッチを入れればすぐに進む、まるで普遍的なスイッチのように語ります。この論文は、LLMがデモを離れて組織に入る瞬間にその信念が崩れる理由を示しています。 著者らは、単純だが無視されている現実を基盤とした枠組み「COMPASS」を紹介します。すなわち、企業は一般的な安全ルールで運営されているわけではありません。例外、条件付き、エッジケース、矛盾するインセンティブが詰まった内部ポリシースタック上で運営されています。 ほとんどのLLM評価ではこの点が全く見落とされています。 モデルは通常、抽象的な倫理、プラットフォームルール、または公開ベンチマークに基づいてテストされます。実際の組織は、コンプライアンスマニュアル、エスカレーション経路、法的制約、ブランドルール、運用上のプレイブックに基づいていますが、それらはイエスかノーの判断にきれいに当てはまりません。 COMPASSは、その混沌の中でモデルが機能するかどうかをテストします。 政策文言を認めるかどうかではなく、正しい状況と正しい理由で正しいルールを適用できるかどうかです。 このフレームワークは、ほとんどのベンチマークが無視する能力に焦点を当てています。複数のポリシーが存在する場合、モデルは正しいポリシーを選択できますか?曖昧な条項や例外を解釈し、包括的な拒否に切り替えるのではなく、組織が期待する形で紛争を解決できるのか?自信を持って聞こえるのではなく、政策文言を指摘して決定を正当化できるのでしょうか? 最も不快な結果はこうです。ほとんどの失敗は知識の欠落が原因ではありません。 彼らは論理的に失敗していた。 モデルは正しいポリシーにアクセスできながらも、間違ったセクションを適用したり、制約を無視したり、制限を過度に一般化したり、ビジネス目標に反する保守的な答えを選んだりすることが多かったです。外から見ると、その回答は「安全」に見えます。内部から見ると、彼らは運用上間違っている。 だからこそ、モデルは公開ベンチマークをクリアしても、導入時に失敗するのです。 彼らは特定の誰にも属していません。 より深い意味合いは戦略的なものです。アライメントは移行しません。自動車メーカー、銀行、病院、政府機関向けのモデルは、より良いプロンプトを持つモデルではありません。4つの別々のアライメント問題です。 COMPASSはアライメントを解決すると主張していません。企業にとってより価値のあることをします。それによってずれが測定可能になります。 一度ずれが測定可能になると、それは哲学的な議論ではなく工学的な問題となります。 それがこの論文がもたらす静かな変化です。 アライメントは抽象的な安全性の問題ではありません。 特定の組織のルールの中で正しいことを確認することが重要です。 それが直接評価されるまでは、ほとんどの「本番対応」AIシステムは文脈を待つ洗練された負債に過ぎません。 全文はこちらからお読みください: