DreamDojo'yu duyuruyoruz: Robot motor kontrollerini alıp geleceği piksellerle üreten açık kaynaklı, etkileşimli dünya modelimiz. Ne motor, ne mesh, ne de el yazısı dinamikler. Bu Simülasyon 2.0. Robotiklerin acı ders hapını alma zamanı. Gerçek dünya robot öğrenimi, zaman, aşınma, güvenlik ve sıfırlamalar nedeniyle darboğaz kalıyor. Fiziksel Yapay Zeka'nın ön eğitim hızında hareket etmesini istiyorsan, mümkün olduğunca az insan mühendisliği ile ön eğitim ölçeğine uyum sağlayan bir simülatörüne ihtiyacımız var. Temel içgörülerimiz: (1) insan bencil videoları, birinci şahıs fiziğin ölçeklenebilir bir kaynağıdır; (2) gizli eylemler onları farklı donanımlarda "robot tarafından okunabilir" hale getirir; (3) Gerçek zamanlı çıkarım, canlı teleop, politika değerlendirmesi ve test zamanı planlamasını *bir rüyanın* içinde açar. 44K saatlik insan videosuyla önceden eğitim yapıyoruz: ucuz, bol ve hiç robot döngüsü olmadan toplanmış bir video. İnsanlar zaten kombinatoriği keşfetti: kavrıyoruz, döküyoruz, katlıyoruz, birleştiriyoruz, başarısız oluyoruz, yeniden deniyoruz—dağınık sahnelerde, değişen bakış açılarında, değişen ışıkta ve saatlerce süren görev zincirlerinde—hiçbir robot filosunun karşılayamayacağı bir ölçekte. Eksik parça: bu videoların aksiyon etiketi yok. Bu yüzden gizli eylemleri tanıtıyoruz: videolardan doğrudan çıkarılan, "dünya devletleri arasında neler değişti" ve altta yatan donanımı bilmeden yakalayan birleşik bir temsil. Bu, motor komutlarıyla birlikte geliyormuş gibi herhangi bir birinci şahıs videoda eğitim yapmamıza olanak tanıyor. Sonuç olarak, DreamDojo sıfır atışı hiçbir robot eğitim setinde görülmemiş nesnelere ve ortamlara genelleştiriyor, çünkü insanlar onları ilk olarak görmüştür. Sonra, her robotun özel donanımına uyması için post-eğitim yapıyoruz. Bunu "dünyanın nasıl göründüğünü ve davrandığını" "bu özel robotun nasıl hareket ettiğinden" ayırmak olarak düşünün. Temel model genel fiziksel kurallara uyar, ardından robotun benzersiz mekaniklerine "takılır". Bu, Unreal Engine'e yeni bir karakter ve sahne varlıkları yüklemek gibi, ama gradyan inişiyle ve eğitim sonrası veri setinin çok ötesine genelleştiriyor. Bir dünya simülatörü ancak döngüyü kapatacak kadar hızlı çalışıyorsa faydalıdır. 10 FPS hızında çalışan ve bir dakikadan fazla süreyle sabit olan gerçek zamanlı DreamDojo versiyonunu eğitiyoruz. Bu heyecan verici olanakları açar: - Canlı teleoperasyon *içinde* bir rüya. Bir VR kontrolcüsü bağlayın, DreamDojo'ya eylemleri akın ve sanal bir robotu gerçek zamanlı teleop yapın. Bunu Unitree G1'de bir PICO kulaklık ve bir RTX 5090 ile gösteriyoruz. - Politika değerlendirmesi. Gerçek dünyada değil, DreamDojo'da bir politika kontrol noktası karşılaştırabilirsiniz. Simüle edilen başarı oranları gerçek dünya sonuçlarıyla güçlü şekilde korelasyonludur - kontrol noktalarını tek bir motor yakmadan sıralayacak kadar doğrudur. - Model tabanlı planlama. Birden fazla eylem önerisi örnekleyin → hepsini paralel olarak simüle edin → en iyi geleceği seçin. Bir meyve paketleme görevinde kutudan çıktığı gibi +%17 gerçek dünya başarısı elde eder. Her şeyi açık kaynaklı olarak kullanıyoruz!! Ağırlıklar, kod, eğitim sonrası veri seti, değerlendirme seti ve çoğaltılması gereken tonlarca detay içeren beyaz kitap. DreamDojo, NVIDIA Cosmos tabanlı ve o da açık ağırlıklı bir sistemdir. 2026, fiziksel yapay zeka için Dünya Modelleri yılıdır. Bizimle birlikte inşa etmenizi istiyoruz. İyi ölçeklendirmeler! Başlıktaki bağlantılar: