Lançando um novo "Revisor Agente" para artigos de pesquisa. Comecei a codificar isso como um projeto de fim de semana, e @jyx_su melhorou muito. Fui inspirado por um estudante que teve um artigo rejeitado 6 vezes ao longo de 3 anos. O ciclo de feedback deles -- esperando ~6 meses por feedback a cada vez -- era dolorosamente lento. Queríamos ver se um fluxo de trabalho agente poderia ajudar os pesquisadores a iterar mais rapidamente. Quando treinamos o sistema com as avaliações do ICLR 2025 e medimos a correlação de Spearman (quanto maior, melhor) no conjunto de teste: - Correlação entre dois revisores humanos: 0.41 - Correlação entre IA e um revisor humano: 0.42 Isso sugere que a revisão agente está se aproximando do desempenho em nível humano. O agente fundamenta seu feedback pesquisando no arXiv, então funciona melhor em áreas como IA, onde a pesquisa é publicada livremente lá. É uma ferramenta experimental, mas espero que ajude você com sua pesquisa. Confira aqui: