Ant Group, LingBot-Depth'i yeni açık kaynak olarak kullandı. Robotikteki en zor derinlik algısı sorununu çözüyor: şeffaf ve yansıtıcı nesneleri yönetmek. Robotların "gözleri" (sensörleri) vardır, ancak genellikle cam bardaklar veya parlak metal kaseler gibi şeylere karşı kokurlar. Gerçekten içinden bakarlar ya da yansımalarla kör olurlar. LingBot-Depth bu körlüğü düzelterek robotların görünmezle "görmesini" ve etkileşime girmesini sağlıyor. Özet: - 10M eğitim örnekleri (~3.1M küratörlük + 7M kamu) - Derinlik tamamlama ölçütleri üzerine SOTA - Monoküler derinlik, stereo, video derinliği ve 3D izleme için çalışır - Gerçek robot testlerinde saydam/yansıtıcı nesneleri başarıyla kavrayır Daha fazla detay aşağıda 👇 1/6

2/6 Şu anda en büyük sorun, standart robot kameraların (RGB-D) mesafeyi ölçmek için ışık yansıtarak çalışması. Ama o ışık bir cam pencereye ya da aynaya çarptığında, doğru şekilde geri yansımaz, içinden geçer ya da dağılır. Robot sadece bir "kara delik" ya da bir ses görüyor. Hiçbir şey olmadığını sanıyor, bu yüzden cam kapıdan geçmeye ya da bardağı ezmeye çalışıyor. Çözüm: LingBot-Depth bunu tersine çeviriyor. Bu "kara delikleri" filtrelemek yerine, onları bir öğrenme sinyali olarak kullanıyor. Yapay zekaya çevredeki bağlamı (masa, gölge) kullanarak "boşlukları doldurmayı" ve görünmez nesneyi yeniden yapılandırmayı öğretir.

3/6 Bir vizyon modeli (ViT kodlayıcı) alıp bozuk derinlik haritalarıyla "boşlukları doldur" oyunu oynamaya eğittiler. Model şunları öğrenmeyi öğrenir: - RGB kameranın gördükleri (renkler, kenarlar, gölgeler) - Çalışan kısmi derinlik verileri - Eksik olanların kalıpları Sonra tüm sahneyi, görünmez kısımlar da dahil olmak üzere yeniden inşa eder. Zekice kısmı: Sahte maskeler yaratmadılar. Sadece sensörün doğal arızalarını eğitim verisi olarak kullandılar. Kamera cam ya da metal göremediğinde bu bir ders oluyordu.

4/6 LingBot-Depth, standart derinlik ölçütlerinde (iBims, NYUv2) mevcut yöntemleri geriler ve birden fazla görev üzerinde yeniden eğitim olmadan çalışır: - Video derinliği: Şeffaf nesneleri hareket ettirmek için bile kareler arasında derinliği tutarlı tutar - Stereo eşleştirme: Stereo kamera sistemleriyle birleştirildiğinde doğruluğu artırır - 3D Takip: Nesneleri uzayda daha sorunsuz takip etmeye yardımcı olur Genelleştirir çünkü "eksik bilgiyi" temel bir beceri olarak kullanmayı öğrendi, bir durum olarak değil.

5/6 Gerçek Robot Testi Sistemi bir robot koluna (Rokae XMate SR5) monte ettiler ve ona iki imkansız görev verdiler: Şeffaf depolama kutusu - Standart derinlik sensörü: tam arıza (yüzde 0 başarı, hatta tespit edemedim) - LingBot Derinliği: %50 başarı oranı (kutuyu gördüm, doğru planlandım) Yansıtıcı çelik barca - Standart sensör: yansımalar nedeniyle kafası karışır - LingBot Derinliği: tutarlı başarı (yeniden inşa edilmiş makulu geometri) Bu sadece bir kıyaslamada daha iyi rakamlar değil. Bu, su bardağınızı devirmeden gerçekten alabilen bir robottur.