Uuden "Agentic Reviewerin" julkaiseminen tutkimuspapereita varten. Aloitin tämän koodaamisen viikonloppuprojektiksi, ja @jyx_su teki siitä paljon paremman. Minua inspiroi opiskelija, jonka artikkeli hylättiin kuusi kertaa kolmen vuoden aikana. Heidän palautesilmukkansa – joka kerta odottaa ~6 kuukautta palautetta – oli tuskallisen hidas. Halusimme nähdä, voisiko agenttinen työnkulku auttaa tutkijoita iterointia nopeammin. Kun koulutimme järjestelmää ICLR 2025 -katsauksissa ja mittasimme Spearman-korrelaation (korkeampi on parempi) testisetissä: - Korrelaatio kahden ihmisarvioijan välillä: 0,41 - Korrelaatio tekoälyn ja ihmisen arvioijan välillä: 0,42 Tämä viittaa siihen, että agenttinen arviointi lähestyy ihmistason suorituskykyä. Agentti perustaa palautteensa hakemaan arXiv:iä, joten se toimii parhaiten aloilla kuten tekoäly, joissa tutkimusta julkaistaan vapaasti. Se on kokeellinen työkalu, mutta toivon, että se auttaa sinua tutkimuksessasi. Katso se täältä: