Випуск нового «Agentic Reviewer» для наукових статей. Я почав писати це як проєкт на вихідних, і @jyx_su зробив його набагато кращим. Мене надихнув студент, у якого роботу відхиляли 6 разів протягом 3 років. Їхній цикл зворотного зв'язку — очікування ~6 місяців кожного разу — був болісно повільним. Ми хотіли дізнатися, чи може агентний робочий процес допомогти дослідникам швидше ітерувати. Коли ми навчали систему на оглядах ICLR 2025 і вимірювали кореляцію Спірмена (більше — краще) на тестовому наборі: - Кореляція між двома людськими рецензентами: 0,41 - Кореляція між ШІ та людським рецензентом: 0,42 Це свідчить про те, що агентне рецензування наближається до рівня людини. Агент базує свій зворотний зв'язок на пошуку arXiv, тому найкраще працює в таких сферах, як штучний інтелект, де дослідження вільно публікуються. Це експериментальний інструмент, але сподіваюся, він допоможе вам у дослідженнях. Перегляньте це тут: