Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Для чого потрібне рецензування? Уявіть, що #AI може давати технічно правильний зворотний зв'язок, такий самий, як у середньостатистичного рецензента, чи не важливо, що саме ці рецензенти вважають важливим («смак»)?
25 лист. 2025 р.
Випуск нового «Agentic Reviewer» для наукових статей. Я почав писати це як проєкт на вихідних, і @jyx_su зробив його набагато кращим.
Мене надихнув студент, у якого роботу відхиляли 6 разів протягом 3 років. Їхній цикл зворотного зв'язку — очікування ~6 місяців кожного разу — був болісно повільним. Ми хотіли дізнатися, чи може агентний робочий процес допомогти дослідникам швидше ітерувати.
Коли ми навчали систему на оглядах ICLR 2025 і вимірювали кореляцію Спірмена (більше — краще) на тестовому наборі:
- Кореляція між двома людськими рецензентами: 0,41
- Кореляція між ШІ та людським рецензентом: 0,42
Це свідчить про те, що агентне рецензування наближається до рівня людини.
Агент базує свій зворотний зв'язок на пошуку arXiv, тому найкраще працює в таких сферах, як штучний інтелект, де дослідження вільно публікуються. Це експериментальний інструмент, але сподіваюся, він допоможе вам у дослідженнях.
Перегляньте це тут:
Я дуже борюся з цим питанням як рецензент: вважаю, що #AI дає досить точні технічні коментарі. Тож, щоб моя робота з рецензування була справді змістовною, я маю вірити, що моя особиста думка та точка зору важливі. Але чи мають значення думки/смаки суддів?
1,91K
Найкращі
Рейтинг
Вибране