Veröffentlichung eines neuen "Agentic Reviewer" für Forschungsarbeiten. Ich habe damit als Wochenendprojekt begonnen, und @jyx_su hat es viel besser gemacht. Ich wurde von einem Studenten inspiriert, dessen Arbeit 6 Mal über 3 Jahre abgelehnt wurde. Ihr Feedbackprozess – jedes Mal ~6 Monate auf Feedback warten – war schmerzhaft langsam. Wir wollten sehen, ob ein agentischer Workflow Forschern helfen kann, schneller zu iterieren. Als wir das System mit den Bewertungen von ICLR 2025 trainierten und die Spearman-Korrelation (höher ist besser) im Testset maßen: - Korrelation zwischen zwei menschlichen Gutachtern: 0.41 - Korrelation zwischen KI und einem menschlichen Gutachter: 0.42 Das deutet darauf hin, dass agentisches Reviewen sich der menschlichen Leistungsfähigkeit nähert. Der Agent stützt sein Feedback, indem er arXiv durchsucht, sodass er am besten in Bereichen wie KI funktioniert, wo die Forschung dort frei veröffentlicht wird. Es ist ein experimentelles Werkzeug, aber ich hoffe, es hilft Ihnen bei Ihrer Forschung. Schauen Sie es sich hier an: