SWE-bench Verified é o padrão ouro para avaliar agentes de codificação: 500 problemas do mundo real + testes da OpenAI. Parece à prova de balas? Quase. Mostramos a aprovação em seus testes unitários != verdade básica correspondente. Em nosso artigo da ACL, corrigimos avaliações com bugs: 24% dos agentes subiram ou desceram na tabela de classificação! 1/7

O aprendizado por reforço permite que os LLMs vençam os humanos em competições de programação / matemática e impulsionou avanços recentes (série o da OpenAI, Claude 4 da Anthropic) A RL permitirá uma ampla generalização da mesma forma que o pré-treinamento? Não com as técnicas atuais 🧵 1/7

Estarei apresentando na sessão de pôsteres 2 no SIGMOD (quarta-feira às 16:00 em Potsdam II). Venha dizer oi!

O processamento de consulta aproximada (AQP) pode acelerar consultas analíticas de longa duração em ordens de magnitude. Mas por que o AQP ainda é raro na produção? Para resolver isso, desenvolvemos o PilotDB, um meio AQP online que faz 0 alterações nos SGBDs, fornece resultados com garantias de erro a priori e atinge uma aceleração de até 126x. 1/8

@ZhanQiusi1 apresentaremos nosso trabalho na sessão de pôsteres de quarta-feira às 11h e no workshop de sábado do TrustNLP (palestra em destaque)! Diga oi se você vê-la

Estarei no #ICLR2025 este ano! Estará dando uma palestra no Workshop de Alinhamento e uma sessão de painel no ML Safety Social. Diga oi se você me ver

#ILLINOIS professor de ciência da computação Daniel Kang conversou com o MIT Technology Review sobre medidas preventivas para invasores cibernéticos de 🤖💻 IA Leia mais! ▶️

Os engenheiros de dados gastam mais de 60% de seu tempo em pipelines de dados. Os agentes de IA podem ajudar? Apresentando o ELT-Bench, o primeiro benchmark que avalia agentes de IA na construção de pipelines ELT de ponta a ponta. Os agentes SOTA atuais alcançam apenas uma taxa de sucesso de 3,9% - há um grande caminho a percorrer! 1/7

Hoje, a IA pode gerar toneladas de código, mas como sabemos se é bom? É por isso que construímos o Sculptor: o primeiro ambiente de agente de codificação. O Sculptor ajuda você a detectar problemas, escrever testes e melhorar seu código, tudo isso enquanto você trabalha em seu editor favorito.

Os agentes de IA são cada vez mais populares (por exemplo, o operador da OpenAI), mas podem ser atacados para prejudicar os usuários! Mostramos que, mesmo com defesas, os agentes de IA ainda podem ser comprometidos por meio de injeções indiretas por meio de "ataques adaptativos" em nosso artigo de descobertas da NAACL 2025 🧵 e links abaixo