O SWE-bench Verified é o padrão ouro para avaliar agentes de codificação: 500 problemas do mundo real + testes da OpenAI. Parece à prova de balas? Não exatamente. Mostramos que passar nos testes unitários != corresponder à verdade de base. No nosso artigo da ACL, corrigimos avaliações com erros: 24% dos agentes subiram ou desceram na tabela de classificação! 1/7

O aprendizado por reforço permite que os LLMs superem humanos em competições de programação/matemática e tem impulsionado os avanços recentes (o série da OpenAI, Claude 4 da Anthropic) O RL permitirá uma generalização ampla da mesma forma que o pré-treinamento? Não com as técnicas atuais 🧵 1/7

Estarei a apresentar na sessão de pôsteres 2 no SIGMOD (Quarta-feira às 16:00 em Potsdam II). Venham dizer olá!

O processamento de consultas aproximadas (AQP) pode acelerar consultas analíticas de longa duração em ordens de magnitude. Mas por que o AQP ainda é raro em produção? Para resolver isso, desenvolvemos o PilotDB, um middleware AQP online que não faz alterações nos DBMS, entrega resultados com garantias de erro a priori e alcança até 126x de aceleração. 1/8

@ZhanQiusi1 apresentará o nosso trabalho na sessão de posters de quarta-feira, às 11h, e no workshop TrustNLP de sábado (palestra em destaque)! Diga olá se você vê-la

Eu estarei em #ICLR2025 este ano! Irá proferir uma palestra no Alignment Workshop e uma sessão de painel no ML Safety Social. Diga oi se você me ver

#ILLINOIS professor de CS Daniel Kang conversou com o MIT Technology Review sobre medidas preventivas para ciberatacantes de 🤖💻 IA Leia mais! ▶️

Os engenheiros de dados gastam mais de 60% do seu tempo em pipelines de dados. Os agentes de IA podem ajudar? Apresentando o ELT-Bench, a primeira referência que avalia agentes de IA na construção de pipelines ELT de ponta a ponta. Os atuais agentes SOTA alcançam apenas uma taxa de sucesso de 3,9% - há um enorme caminho a percorrer! 1/7

Hoje, a IA pode gerar toneladas de código, mas como sabemos se é bom? É por isso que construímos o Sculptor: o primeiro ambiente de agente de codificação. O Sculptor ajuda-o a detetar problemas, a escrever testes e a melhorar o seu código, tudo isto enquanto trabalha no seu editor favorito.

Os agentes de IA são cada vez mais populares (por exemplo, o operador da OpenAI), mas podem ser atacados para prejudicar os utilizadores! Mostramos que, mesmo com defesas, os agentes de IA ainda podem ser comprometidos por meio de injeções imediatas indiretas por meio de "ataques adaptativos" em nosso artigo de descobertas da NAACL 2025 🧵 e links abaixo