Vydání nového "agentického recenzenta" pro výzkumné práce. Začal jsem to programovat jako víkendový projekt a @jyx_su to výrazně zlepšilo. Inspiroval mě student, jehož článek byl během tří let 6krát odmítnut. Jejich zpětná vazba – čekání ~6 měsíců na zpětnou vazbu pokaždé – byla bolestně pomalá. Chtěli jsme zjistit, zda agentický pracovní postup může výzkumníkům pomoci rychleji iterovat. Když jsme systém trénovali na přezkumech ICLR 2025 a měřili Spearmanovu korelaci (čím více, tím lépe) na testovací sadě: - Korelace mezi dvěma lidskými recenzenty: 0,41 - Korelace mezi AI a lidským recenzentem: 0,42 To naznačuje, že agentické hodnocení se blíží lidskému výkonu. Agent zakládá svou zpětnou vazbu vyhledáváním na arXiv, takže nejlépe funguje v oblastech jako AI, kde je výzkum volně publikován. Je to experimentální nástroj, ale doufám, že ti pomůže při výzkumu. Podívejte se na to zde: