Wydanie nowego "Agentic Reviewer" do prac badawczych. Zacząłem to kodować jako projekt weekendowy, a @jyx_su znacznie to poprawił. Zainspirował mnie student, którego praca została odrzucona 6 razy w ciągu 3 lat. Ich pętla feedbackowa -- czekanie ~6 miesięcy na feedback za każdym razem -- była boleśnie wolna. Chcieliśmy sprawdzić, czy agentowy proces roboczy może pomóc badaczom szybciej iterować. Kiedy przeszkoliliśmy system na recenzjach ICLR 2025 i zmierzyliśmy korelację Spearmana (im wyższa, tym lepsza) na zbiorze testowym: - Korelacja między dwoma recenzentami ludzkimi: 0.41 - Korelacja między AI a recenzentem ludzkim: 0.42 To sugeruje, że agentowe recenzowanie zbliża się do wydajności na poziomie ludzkim. Agent opiera swoje feedbacki na wyszukiwaniu w arXiv, więc najlepiej działa w dziedzinach takich jak AI, gdzie badania są tam publikowane za darmo. To narzędzie eksperymentalne, ale mam nadzieję, że pomoże Ci w Twoich badaniach. Sprawdź to tutaj: