Andrew Ng hat einen „Agentic Reviewer“ für Forschungsarbeiten veröffentlicht. Er hat gerade ein nahezu menschliches Maß an Übereinstimmung erreicht, nachdem er mit echten ICLR 2025 Bewertungen trainiert wurde. 𝗗𝗔𝗦 𝗣𝗥𝗢𝗕𝗟𝗘𝗠 𝗜𝗦𝗧 Die Überprüfung von Arbeiten ist langsam. Jeder Zyklus dauert etwa sechs Monate. Ein Student erhielt in drei Jahren sechs Ablehnungen. Die Iterationsgeschwindigkeit, nicht die Ideen, wurde zum Engpass. 𝗛𝗢𝗪 𝗜𝗧 𝗪𝗢𝗥𝗞𝗦 Das System lernt aus echtem Feedback von Konferenzen. Es liest Ihre Arbeit und sucht dann in arXiv nach verwandten Arbeiten. Der Ablauf ist einfach: Analysieren Sie Ansprüche und Struktur Fundierte Kommentare in veröffentlichter Forschung Erstellen Sie strukturiertes Feedback im Stil eines Gutachters Es funktioniert am besten in Bereichen mit offener Literatur. 𝗛𝗢𝗪 𝗚𝗢𝗢𝗗 𝗜𝗧 𝗜𝗦 Die Korrelation zwischen Mensch und Mensch bei der Überprüfung liegt bei 0,41. Die Korrelation zwischen KI und Mensch erreicht 0,42. Das ist fast die Übereinstimmung von Gutachtern heute.

Link: