发布一个新的“代理审稿人”用于研究论文。我开始将其作为周末项目进行编码,而@jyx_su让它变得更好。 我受到了一位学生的启发,他的论文在3年内被拒绝了6次。他们的反馈循环——每次等待约6个月的反馈——是痛苦的缓慢。我们想看看代理工作流程是否能帮助研究人员更快地迭代。 当我们在ICLR 2025的评审上训练系统并在测试集上测量斯皮尔曼相关性(越高越好)时: - 两位人类审稿人之间的相关性:0.41 - AI与人类审稿人之间的相关性:0.42 这表明代理审稿正在接近人类水平的表现。 该代理通过搜索arXiv来为其反馈提供依据,因此在像AI这样的领域中效果最佳,因为研究在这里是自由发布的。这是一个实验工具,但我希望它能帮助你进行研究。 在这里查看: