SWE-bench Verified is de gouden standaard voor het evalueren van coderingsagenten: 500 echte wereldproblemen + tests van OpenAI. Klinkt waterdicht? Niet helemaal. We tonen aan dat het slagen voor de eenheidstests != overeenkomen met de grondwaarheid. In ons ACL-papier hebben we foutieve evaluaties gecorrigeerd: 24% van de agenten steeg of daalde op de ranglijst! 1/7

Versterkend leren stelt LLM's in staat om mensen te verslaan in programmeer- en wiskundewedstrijden en heeft recente vooruitgangen aangedreven (OpenAI's o-serie, Anthropic's Claude 4) Zal RL brede generalisatie mogelijk maken op dezelfde manier als pretraining? Niet met de huidige technieken 🧵 1/7

Ik zal presenteren tijdens poster sessie 2 op SIGMOD (woensdag 16:00 in Potsdam II). Kom hallo zeggen!

Benaderende queryverwerking (AQP) kan langdurige analytische queries met een factor versnellen. Maar waarom is AQP nog steeds zeldzaam in productie? Om dit aan te pakken, ontwikkelen we PilotDB, een online AQP-middel dat 0 wijzigingen aan DBMS's aanbrengt, resultaten levert met a priori foutgaranties en tot 126x versnelling bereikt. 1/8

@ZhanQiusi1 zullen ons werk presenteren tijdens de postersessie op woensdag 11 uur en de TrustNLP-workshop op zaterdag (spotlight talk)! Zeg hallo als je haar ziet

Ik ben er dit jaar bij #ICLR2025! Zal een lezing geven op de Alignment Workshop en een panelsessie op de ML Safety Social. Zeg hallo als je me ziet

#ILLINOIS CS-professor Daniel Kang sprak met de MIT Technology Review over preventieve maatregelen voor AI-cyberaanvallers 🤖💻 Lees meer! ▶️

Data engineers besteden meer dan 60% van hun tijd aan datapijplijnen. Kunnen AI-agenten helpen? Introductie van ELT-Bench, de eerste benchmark die AI-agents evalueert voor het bouwen van end-to-end ELT-pijplijnen. De huidige SOTA-agents behalen slechts een slagingspercentage van 3,9% - er is nog een lange weg te gaan! 1/7

Tegenwoordig kan AI tonnen code genereren, maar hoe weten we of het goed is? Daarom hebben we Sculptor gebouwd: de eerste coderingsagentomgeving. Sculptor helpt je problemen op te sporen, tests te schrijven en je code te verbeteren, terwijl je in je favoriete editor werkt.

AI-agenten worden steeds populairder (bijv. de operator van OpenAI), maar kunnen worden aangevallen om gebruikers schade te berokkenen! We laten zien dat AI-agenten, zelfs met verdediging, nog steeds kunnen worden gecompromitteerd via indirecte promptinjecties via "adaptieve aanvallen" in ons NAACL 2025-bevindingendocument 🧵 en links hieronder