Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
À quoi sert la révision par les pairs ? Imaginez que #AI puisse donner des retours techniquement corrects qui sont les mêmes que ceux de l'examinateur moyen, alors pourquoi nous soucions-nous de ce que ces examinateurs particuliers pensent être important (« goût ») ?
25 nov. 2025
Lancement d'un nouvel "Agentic Reviewer" pour les articles de recherche. J'ai commencé à coder cela comme un projet de week-end, et @jyx_su l'a beaucoup amélioré.
J'ai été inspiré par un étudiant dont l'article a été rejeté 6 fois en 3 ans. Leur boucle de retour d'information -- attendant ~6 mois pour des retours à chaque fois -- était douloureusement lente. Nous voulions voir si un flux de travail agentique pouvait aider les chercheurs à itérer plus rapidement.
Lorsque nous avons entraîné le système sur les critiques de l'ICLR 2025 et mesuré la corrélation de Spearman (plus c'est élevé, mieux c'est) sur l'ensemble de test :
- Corrélation entre deux examinateurs humains : 0.41
- Corrélation entre l'IA et un examinateur humain : 0.42
Cela suggère que l'évaluation agentique approche des performances humaines.
L'agent fonde ses retours en recherchant sur arXiv, donc il fonctionne mieux dans des domaines comme l'IA où la recherche est publiée librement. C'est un outil expérimental, mais j'espère qu'il vous aidera dans vos recherches.
Découvrez-le ici :
Je lutte beaucoup avec ce problème en tant que réviseur : je pense que #AI donne des commentaires techniques assez précis. Donc, pour que mon travail de révision ait vraiment un sens, je dois croire que mon opinion personnelle et mon point de vue sont importants. Mais les opinions/goûts des examinateurs devraient-ils avoir de l'importance ?
1,91K
Meilleurs
Classement
Favoris