BMWグループと韓国のトップ研究機関によるこの論文は、ほぼすべてのLLMを使用する企業が直面している盲点を明らかにしています。 私たちは「アライメント」をまるで万能の安全スイッチのように話し続けています。 そうじゃないです。 この論文では、多くのAIシステムが安全でないからではなく、導入組織と連携していないために失敗する理由を示すフレームワークであるCOMPASSを紹介しています。 ここで核心的な洞察を述べます。 LLMは通常、プラットフォームの安全ルール、抽象的な倫理ガイドライン、ベンチマーク型の拒否など、一般的なポリシーに基づいて評価されます。 しかし、実際の企業は一般的なルールで運営されていません。 彼らは内部方針に基づいて運営されています: - コンプライアンスマニュアル - 作戦プレイブック - エスカレーション手続き - 法的エッジケース - ブランド固有の制約 そしてこれらのルールは複雑で重なり合い、条件付きで、例外も多いです。 COMPASSは、モデルがその混乱の中で実際に動作できるかどうかをテストするために作られています。 政策文言を知っているかどうかではなく、適切な文脈で正しい理由で正しい政策を適用できるかどうかです。 このフレームワークは、典型的なベンチマークが無視する4つの要素でモデルを評価します。 ...