Ada sesuatu yang sangat memuaskan tentang ImageNet. Itu memiliki set pelatihan yang dikuratori dengan baik. Protokol pengujian yang didefinisikan dengan jelas. Kompetisi yang menggalang para peneliti terbaik. Dan papan peringkat yang menelurkan ResNets dan ViT, dan akhirnya mengubah lapangan untuk selamanya. Kemudian NLP mengikuti. Tidak peduli seberapa banyak OpenAI, Anthropic, dan xAI tidak setuju, mereka setidaknya setuju pada satu hal: benchmarking. MMLU, HLE, SWEBench - Anda tidak dapat membuat kemajuan sampai Anda dapat mengukurnya. Robotika masih belum memiliki panggilan penggalangan seperti itu. Tidak ada yang menyetujui apa pun: perangkat keras, tugas, penilaian, mesin simulasi, atau lingkungan dunia nyata. Setiap orang adalah SOTA, menurut definisi, pada tolok ukur yang mereka tentukan dengan cepat untuk setiap makalah. Dari pembuat ImageNet - BEHAVIOR mengambil tantangan menakutkan untuk menyatukan pembandingan robotika pada mesin fisika yang dapat direproduksi (Isaac Sim). Proyek ini dimulai sebelum saya lulus dari Stanford Vision Lab, dan membutuhkan waktu bertahun-tahun dedikasi dan karir PhD untuk membangunnya. Saya harap PERILAKU adalah sinyal mendaki bukit yang kita butuhkan, atau percikan yang akhirnya membuat kita berbicara tentang bagaimana mengukur kemajuan nyata sebagai sebuah bidang.

Vibe Minecraft: model dunia multi-pemain, konsisten mandiri, real-time yang memungkinkan membangun apa pun dan menyulap objek apa pun. Fungsi alat dan bahkan mekanisme permainan itu sendiri dapat diprogram dengan bahasa alami, seperti "chrono-pickaxe: mengembalikan blok apa pun ke keadaan sebelumnya dalam waktu" dan "air terjun berubah menjadi jembatan pelangi saat unicorn lewat". Pemain secara kolektif mendefinisikan dan memanipulasi dunia bersama. Sim saraf mengambil sebagai input prompt sistem *multimodal*: aturan permainan, png aset, peta global, dan telur paskah. Ini secara berkala menyimpan status game sebagai urutan vektor laten yang dapat dimuat kembali ke konteks, secara opsional dengan "teks panduan" yang disisipkan untuk memungkinkan pengeditan yang mudah. Setiap gamer memiliki json stat eksplisit (kesehatan, inventaris, koordinat 3D) serta "vektor pemain" implisit yang menangkap riwayat interaksi tingkat tinggi. Admin game dapat membuat multiverse Minecraft karena laten kompatibel dari server yang berbeda. Setiap dunia dapat dengan mulus menyeberang dengan yang lain untuk menelurkan dunia baru dalam hitungan detik. Orang-orang dapat mencampur & mencocokkan dengan teman mereka atau keadaan masa lalu mereka sendiri. "Vektor langka" dapat muncul karena beberapa pemain pasti akan mengembara ke ruang laten yang aneh dan belum dipetakan dari model dunia. Matriks float tersebut dapat diperdagangkan sebagai NFT. Semakin liar hal yang Anda coba, semakin besar kemungkinan Anda akan menambang vektor langka. Siapa pun yang mengirimkan Vibe Minecraft terlebih dahulu akan tercatat dalam sejarah sebagai mengubah jalannya permainan selamanya.

Ingin melihat Hukum Penskalaan FSD, karena ini adalah satu-satunya roda gila data fisik dalam skala planet. Apa itu "ambang kemampuan yang muncul" untuk ukuran model/data?