研究論文用の新しい「エージェント・レビュアー」をリリースします。週末のプロジェクトとしてコーディングを始めて、@jyx_suずっと良くしました。 3年間で6回も論文を拒否された学生に触発されました。フィードバックループ――毎回~6ヶ月待つという――は非常に遅かった。エージェント型ワークフローが研究者の反復速度向上に役立つかどうかを探りたかったのです。 ICLR 2025レビューでシステムを訓練し、テストセット上でスピアマン相関(高いほど良い)を測定したところ、 - 2人の人間レビュアー間の相関:0.41 - AIと人間のレビュアーとの相関:0.42 これは、エージェント的レビューが人間レベルのパフォーマンスに近づいていることを示唆しています。 エージェントはarXivで検索することでフィードバックを根拠にしているため、AIのように研究が自由に公開されている分野で最も効果的に機能します。実験的なツールですが、あなたの研究に役立つことを願っています。 こちらでご覧ください: