SWE-bench Verified — это золотой стандарт для оценки кодирующих агентов: 500 реальных задач + тесты от OpenAI. Звучит надежно? Не совсем. Мы показываем, что прохождение его юнит-тестов != соответствие реальности. В нашей статье ACL мы исправили ошибочные оценки: 24% агентов поднялись или опустились в таблице лидеров! 1/7

Обучение с подкреплением позволяет LLM обыгрывать людей на конкурсах по программированию/математике и стало движущей силой недавних достижений (o-серия от OpenAI, Claude 4 от Anthropic) Сможет ли RL обеспечить широкую обобщаемость так же, как это делает предварительное обучение? Нет, с текущими методами 🧵 1/7

Я буду выступать на постерной сессии 2 на SIGMOD (среда, 16:00 в Потсдам II). Приходите поздороваться!

Приблизительная обработка запросов (AQP) может ускорить выполнение длительных аналитических запросов на порядки. Но почему AQP все еще редко используется в производстве? Чтобы решить эту проблему, мы разработали PilotDB, онлайн-средство AQP, которое не вносит изменений в СУБД, предоставляет результаты с заранее заданными гарантиями ошибки и достигает ускорения до 126 раз. 1/8

@ZhanQiusi1 будет представлять нашу работу на постерной сессии в среду в 11:00 и на семинаре TrustNLP в субботу (основной доклад)! Поздоровайтесь, если увидите её.

Я буду на #ICLR2025 в этом году! Буду выступать с докладом на семинаре по согласованию и участвовать в панельной сессии на ML Safety Social. Подходите поздороваться, если увидите меня.

Профессор компьютерных наук из Иллинойса Дэниел Кан говорил с MIT Technology Review о мерах предосторожности против кибератак с использованием ИИ 🤖💻 Читать далее! ▶️

Инженеры данных тратят более 60% своего времени на обработку конвейеров данных. Могут ли агенты ИИ помочь? Представляем ELT-Bench — первый эталонный тест для оценки агентов ИИ в создании сквозных конвейеров ELT. Текущие агенты SOTA достигают всего 3.9% успеха — впереди огромный путь! 1/7

Сегодня ИИ может генерировать огромное количество кода — но как мы можем узнать, хороший ли он? Вот почему мы создали Sculptor: первую среду для кодирования агентов. Sculptor помогает выявлять проблемы, писать тесты и улучшать ваш код — все это, пока вы работаете в своем любимом редакторе.

Агенты ИИ становятся все более популярными (например, оператор OpenAI), но их можно атаковать, чтобы навредить пользователям! Мы показываем, что даже с защитой агенты ИИ все еще могут быть скомпрометированы через косвенные инъекции подсказок с помощью "адаптивных атак" в нашей статье с результатами NAACL 2025. 🧵 и ссылки ниже