SWE-bench Verified は、コーディング エージェントを評価するためのゴールド スタンダードです: 500 の現実世界の問題 + OpenAI によるテスト。防弾のように聞こえますか?まだまだです。 単体テストに合格することを示します != グラウンドトゥルースに一致します。ACLの論文では、エージェントの24%がリーダーボードを上下に上げたというバグのある評価を修正しました。 1/7

強化学習により、LLMはプログラミング/数学の競争で人間を打ち負かすことができ、最近の進歩を推進しています(OpenAIのoシリーズ、AnthropicのClaude 4) RL は、事前学習と同じように広範な一般化を可能にするのでしょうか?現在の技術では違います 🧵 1月7日

SIGMODのポスターセッション2(水曜日16:00、ポツダムII)で発表します。こんにちは!

近似クエリ処理 (AQP) は、実行時間の長い分析クエリを桁違いに高速化できます。しかし、なぜAQPはまだ生産されていないのでしょうか? これに対処するために、DBMSに0回の変更を行い、事前エラー保証で結果を提供し、最大126倍の高速化を達成するオンラインAQPミドルであるPilotDBを開発しました。 1/8

@ZhanQiusi1は、水曜日の午前11時のポスターセッションと土曜日のTrustNLPワークショップ(スポットライトトーク)で私たちの作品を発表します!彼女を見かけたら挨拶してください

今年は #ICLR2025 にいます!Alignment Workshopでの講演とML Safety Socialでのパネルセッションを行います。私を見かけたら挨拶してください

#ILLINOIS の Daniel Kang 教授が MIT Technology Review で、AI サイバー攻撃者🤖💻の予防策について語りました 続きを読む! ▶️

データエンジニアは、時間の60%以上をデータパイプラインに費やしています。AIエージェントは助けることができますか? ELT-Bench は、エンドツーエンドの ELT パイプラインの構築に関する AI エージェントを評価する最初のベンチマークです。現在のSOTAエージェントの成功率はわずか3.9%で、まだまだ長い道のりがあります。 1/7

今日、AIは大量のコードを生成できますが、それが良いかどうかはどうやって判断するのでしょうか? そのため、私たちは最初のコーディングエージェント環境であるSculptorを構築しました。 Sculptorは、問題の検出、テストの作成、コードの改善を、お気に入りのエディターで作業しながら行うのに役立ちます。

AIエージェント(OpenAIのオペレーターなど)はますます人気が高まっていますが、ユーザーに危害を加えるために攻撃される可能性があります。 防御策を講じても、AI エージェントは「適応型攻撃」による間接的なプロンプト インジェクションによって侵害される可能性があることを NAACL 2025 の調査結果の論文で示しています 🧵 および以下のリンク