Phát hành một "Người Đánh Giá Tự Chủ" mới cho các bài báo nghiên cứu. Tôi đã bắt đầu lập trình điều này như một dự án cuối tuần, và @jyx_su đã làm cho nó tốt hơn rất nhiều. Tôi đã được truyền cảm hứng bởi một sinh viên có bài báo bị từ chối 6 lần trong 3 năm. Quy trình phản hồi của họ -- chờ ~6 tháng để nhận phản hồi mỗi lần -- thật sự rất chậm chạp. Chúng tôi muốn xem liệu một quy trình làm việc tự chủ có thể giúp các nhà nghiên cứu lặp lại nhanh hơn không. Khi chúng tôi đào tạo hệ thống trên các đánh giá ICLR 2025 và đo lường hệ số tương quan Spearman (càng cao càng tốt) trên tập kiểm tra: - Tương quan giữa hai người đánh giá: 0.41 - Tương quan giữa AI và một người đánh giá: 0.42 Điều này cho thấy việc đánh giá tự chủ đang tiến gần đến hiệu suất của con người. Người đánh giá tự chủ dựa vào phản hồi của mình bằng cách tìm kiếm trên arXiv, vì vậy nó hoạt động tốt nhất trong các lĩnh vực như AI, nơi nghiên cứu được công bố miễn phí ở đó. Đây là một công cụ thử nghiệm, nhưng tôi hy vọng nó sẽ giúp bạn trong nghiên cứu của mình. Xem nó ở đây: