Область ИИ нуждается в более строгих бенчмарках для тестирования возможностей последних моделей ИИ. Это обновление @Kaggle Game Arena с волком и покером (в формате хедз-ап) плюс шахматами предоставляет нам новые объективные меры реальных навыков, таких как планирование и принятие решений в условиях неопределенности.

В отличие от стандартных тестов в формате вопросов и ответов, которые в конечном итоге достигают насыщения, эти тесты автоматически становятся сложнее по мере улучшения моделей. Прекрасно иметь эти проверяемые способы измерения прогресса к AGI. Цель состоит в том, чтобы добавить сотни игр, охватывающих многие аспекты интеллекта, с общим рейтингом.

Также здорово видеть наши последние модели Gemini 3 на вершине шахматной таблицы лидеров - невероятно быстрое улучшение с момента первого запуска бенчмарка! Обратите внимание, что все модели по-прежнему играют только на слабом любительском уровне, поэтому требуется много улучшений.