Havia algo profundamente satisfatório sobre o ImageNet. Tinha um conjunto de treinamento bem curado. Um protocolo de teste claramente definido. Uma competição que reuniu os melhores pesquisadores. E uma tabela de classificação que gerou ResNets e ViTs, e, em última análise, mudou o campo para sempre. Então, a NLP seguiu. Não importa o quanto a OpenAI, a Anthropic e a xAI discordem, pelo menos concordam em uma coisa: benchmarking. MMLU, HLE, SWEBench - você não pode progredir até que consiga medi-lo. A robótica ainda não tem tal chamado unificador. Ninguém concorda em nada: hardware, tarefa, pontuação, motor de simulação ou ambiente do mundo real. Todos são SOTA, por definição, no benchmark que definem de forma improvisada para cada artigo. Do criador do ImageNet - BEHAVIOR tenta enfrentar o desafiador desafio de unificar o benchmarking de robótica em um motor de física reprodutível (Isaac Sim). O projeto começou antes de eu me formar no Stanford Vision Lab e levou muitos anos de dedicação e carreiras de doutorado para ser construído. Espero que o BEHAVIOR seja ou o sinal de escalada que precisamos, ou a faísca que finalmente nos faça falar sobre como medir o progresso real como um campo.

Vibe Minecraft: um modelo de mundo em tempo real, auto-consistente e multi-jogador que permite construir qualquer coisa e conjurar quaisquer objetos. A função das ferramentas e até mesmo a mecânica do jogo podem ser programadas por linguagem natural, como "picareta cronológica: reverter qualquer bloco para um estado anterior no tempo" e "cachoeiras se transformam em ponte arco-íris quando unicórnios passam". Os jogadores definem e manipulam coletivamente um mundo compartilhado. A simulação neural recebe como entrada um prompt de sistema *multimodal*: regras do jogo, pngs de ativos, um mapa global e ovos de páscoa. Ela salva periodicamente os estados do jogo como uma sequência de vetores latentes que podem ser carregados de volta ao contexto, opcionalmente com "textos de orientação" intercalados para permitir uma edição fácil. Cada jogador tem seu próprio json de estatísticas explícitas (saúde, inventário, coordenadas 3D), bem como "vetores de jogador" implícitos que capturam a história de interação de ordem superior. Os administradores do jogo podem criar um multiverso Minecraft porque os latentes são compatíveis entre diferentes servidores. Cada mundo pode cruzar-se perfeitamente com outro para gerar novos mundos em segundos. As pessoas podem misturar e combinar com os estados passados de seus amigos ou os seus próprios. "Vetores raros" podem surgir à medida que alguns jogadores inevitavelmente vagam pelo espaço latente bizarro e inexplorado do modelo de mundo. Essas matrizes flutuantes podem ser negociadas como NFTs. Quanto mais coisas malucas você tentar, mais provável será que você minerará vetores raros. Quem lançar o Vibe Minecraft primeiro ficará na história como alguém que alterou o curso dos jogos para sempre.

Adoraria ver a Lei de Escala do FSD, pois é a única roda de dados física em escala planetária. Qual é o "limite de capacidade emergente" para o tamanho do modelo/dados?