Lansarea unui nou "Agent Reviewer" pentru lucrări de cercetare. Am început să programez asta ca un proiect de weekend și @jyx_su făcut totul mult mai bun. Am fost inspirat de un student care a avut o lucrare respinsă de 6 ori în 3 ani. Bucla lor de feedback – așteptând ~6 luni de fiecare dată – a fost dureros de lentă. Am vrut să vedem dacă un flux de lucru agentic poate ajuta cercetătorii să itereze mai rapid. Când am antrenat sistemul pe recenziile ICLR 2025 și am măsurat corelația Spearman (mai mare, cu atât mai bine) pe setul de test: - Corelația dintre doi recenzori umani: 0,41 - Corelația dintre AI și un recenzent uman: 0,42 Aceasta sugerează că evaluarea agentică se apropie de performanța la nivel uman. Agentul își fundamentează feedback-ul căutând pe arXiv, astfel încât funcționează cel mai bine în domenii precum AI, unde cercetarea este publicată gratuit acolo. Este un instrument experimental, dar sper să te ajute în cercetarea ta. Verifică-l aici: