Andrew Ng julkaisi "Agentic Reviewerin" tutkimuspapereita varten. Se saavutti lähes ihmisen tason hyväksynnän oikeiden ICLR 2025 -arvostelujen koulutuksen jälkeen. Ongelma, johon se kohdistuu Paperin tarkastelu on hidasta. Jokainen kierto kestää noin kuusi kuukautta. Yksi opiskelija sai kuusi hylkäystä kolmen vuoden aikana. Iteraation nopeus, ei ideat, muodostuivat pullonkaulaksi. Miten se toimii Järjestelmä oppii aidosta konferenssipalautteesta. Se lukee artikkelisi ja etsii arXivista siihen liittyvää työtä. Kulku on yksinkertainen: Väitteiden ja rakenteen analysointi Peruskommentit julkaistussa tutkimuksessa Tuota jäsenneltyä arvioijatyylistä palautetta Se toimii parhaiten aloilla, joilla on avointa kirjallisuutta. Kuinka hyvää se onkaan Ihmisen ja ihmisen välisen arvioinnin korrelaatio on 0,41. Tekoälyn ja ihmisen välinen korrelaatio on 0,42. Se on lähes arvioijien yksimielisyys tänään.

Linkki: