Een nieuwe "Agentic Reviewer" voor onderzoeksartikelen wordt uitgebracht. Ik begon hieraan te coderen als een weekendproject, en @jyx_su heeft het veel beter gemaakt. Ik werd geïnspireerd door een student die 6 keer in 3 jaar tijd een artikel afgewezen kreeg. Hun feedbackcyclus -- wachten op ~6 maanden voor feedback elke keer -- was pijnlijk traag. We wilden zien of een agentic workflow onderzoekers kan helpen sneller te itereren. Toen we het systeem trainden op de ICLR 2025 beoordelingen en de Spearman correlatie (hoe hoger, hoe beter) op de testset maten: - Correlatie tussen twee menselijke beoordelaars: 0.41 - Correlatie tussen AI en een menselijke beoordelaar: 0.42 Dit suggereert dat agentic reviewing de prestaties van mensen benadert. De agent baseert zijn feedback door arXiv te doorzoeken, dus het werkt het beste in velden zoals AI waar onderzoek daar vrij wordt gepubliceerd. Het is een experimentele tool, maar ik hoop dat het je helpt met je onderzoek. Bekijk het hier: