В ImageNet было что-то глубоко удовлетворяющее. У него был хорошо подобранный обучающий набор. Четко определенный протокол тестирования. Соревнование, которое объединило лучших исследователей. И таблица лидеров, которая породила ResNets и ViTs и в конечном итоге изменила эту область навсегда. Затем последовала NLP. Независимо от того, насколько OpenAI, Anthropic и xAI не согласны, они, по крайней мере, согласны в одном: бенчмаркинг. MMLU, HLE, SWEBench - вы не можете добиться прогресса, пока не сможете его измерить. В робототехнике все еще нет такого объединяющего призыва. Никто ни с чем не согласен: оборудование, задача, оценка, симуляционный движок или реальная среда. Каждый по определению является SOTA на бенчмарке, который они определяют на лету для каждой статьи. От создателя ImageNet - BEHAVIOR пытается решить сложную задачу унификации бенчмаркинга в робототехнике на воспроизводимом физическом движке (Isaac Sim). Проект начался до того, как я закончил Стэнфордский исследовательский центр, и потребовал многих лет преданности и карьер PhD для его создания. Я надеюсь, что BEHAVIOR либо станет сигналом для восхождения, который нам нужен, либо искрой, которая наконец заставит нас говорить о том, как измерять реальный прогресс в этой области.

Vibe Minecraft: многопользовательская, самосогласованная, реальная модель мира в реальном времени, которая позволяет строить что угодно и вызывать любые объекты. Функции инструментов и даже механика игры могут быть запрограммированы на естественном языке, например, "хроно-кирка: возвращает любой блок в предыдущее состояние во времени" и "водопады превращаются в радужный мост, когда мимо проходят единороги". Игроки совместно определяют и манипулируют общим миром. Нейронная симуляция принимает на вход *мультимодальную* системную подсказку: правила игры, png-активы, глобальную карту и пасхалки. Она периодически сохраняет состояния игры в виде последовательности латентных векторов, которые могут быть загружены обратно в контекст, при необходимости с чередующимися "текстами-руководствами" для облегчения редактирования. У каждого игрока есть свой явный json-статус (здоровье, инвентарь, 3D-координаты), а также неявные "векторы игрока", которые фиксируют историю взаимодействия более высокого порядка. Администраторы игры могут создать многомир Minecraft, потому что латенты совместимы с разных серверов. Каждый мир может бесшовно пересекаться с другим, чтобы за считанные секунды создавать новые миры. Люди могут смешивать и сочетать свои состояния с состояниями друзей или своими собственными прошлыми состояниями. "Редкие векторы" могут возникать, поскольку некоторые игроки неизбежно будут блуждать по странному, неизведанному латентному пространству модели мира. Эти плавающие матрицы могут быть обменены как NFT. Чем более дикие вещи вы пробуете, тем более вероятно, что вы найдете редкие векторы. Тот, кто первым выпустит Vibe Minecraft, войдет в историю как изменивший ход игр навсегда.

Хотелось бы увидеть Закон Масштабирования FSD, так как это единственный физический механизм данных на планетарном уровне. Каков "порог возникающей способности" для размера модели/данных?