Ant Group baru saja open source LingBot-Depth. Ini memecahkan tantangan persepsi kedalaman tersulit dalam robotika: menangani objek transparan dan reflektif. Robot memiliki "mata" (sensor), tetapi mereka biasanya buta terhadap hal-hal seperti cangkir kaca atau mangkuk logam mengkilap. Mereka benar-benar melihat melalui mereka atau dibutakan oleh pantulan. LingBot-Depth memperbaiki kebutaan ini, memungkinkan robot untuk "melihat" dan berinteraksi dengan yang tidak terlihat. TLDR: - 10 juta sampel pelatihan (~3,1 juta dikuratori + 7 juta publik) - SOTA tentang tolok ukur penyelesaian kedalaman - Berfungsi untuk kedalaman monokuler, stereo, kedalaman video, dan pelacakan 3D - Berhasil menangkap objek transparan/reflektif dalam pengujian robot nyata Detail lebih lanjut di bawah 1 👇/6

2/6 Masalah terbesar saat ini adalah kamera robot standar (RGB-D) bekerja dengan memproyeksikan cahaya untuk mengukur jarak. Tetapi ketika cahaya itu mengenai jendela kaca atau cermin, ia tidak memantul kembali dengan benar, ia menembus atau tersebar. Robot hanya melihat "lubang hitam" atau kebisingan. Ia berpikir tidak ada apa-apa di sana, jadi ia mencoba berjalan melalui pintu kaca atau menghancurkan cangkirnya. Solusi: LingBot-Depth membalik ini. Alih-alih menyaring "lubang hitam" itu, ia menggunakannya sebagai sinyal pembelajaran. Ini mengajarkan AI untuk menggunakan konteks di sekitarnya (tabel, bayangan) untuk "mengisi kekosongan" dan merekonstruksi objek yang tidak terlihat.

3/6 Mereka mengambil model penglihatan (encoder ViT) dan melatihnya untuk memainkan permainan "isi-dalam-kosong" dengan peta kedalaman yang rusak. Model belajar melihat: - Apa yang dilihat kamera RGB (warna, tepi, bayangan) - Data kedalaman parsial yang BERFUNGSI - Pola apa yang hilang Kemudian merekonstruksi adegan penuh, termasuk bagian yang tidak terlihat. Bagian yang cerdas: mereka tidak membuat topeng palsu. Mereka hanya menggunakan kegagalan alami sensor sebagai data pelatihan. Setiap kali kamera gagal melihat kaca atau logam, itu menjadi pelajaran.

4/6 LingBot-Depth mengalahkan metode yang ada pada tolok ukur kedalaman standar (iBims, NYUv2) dan bekerja di beberapa tugas tanpa pelatihan ulang: - Kedalaman video: Menjaga kedalaman tetap konsisten di seluruh bingkai, bahkan untuk memindahkan objek transparan - Pencocokan stereo: Meningkatkan akurasi saat dikombinasikan dengan sistem kamera stereo - Pelacakan 3D: Membantu melacak objek melalui ruang angkasa dengan lebih lancar Ini menggeneralisasi karena belajar menangani "informasi yang hilang" sebagai keterampilan inti, bukan sebagai kasus tepi.

5/6 Tes Robot Nyata Mereka memasang sistem pada lengan robot (Rokae XMate SR5) dan memberinya dua tugas yang mustahil: Kotak penyimpanan transparan - Sensor kedalaman standar: kegagalan total (keberhasilan 0 persen, bahkan tidak dapat mendeteksinya) - Kedalaman LingBot: Tingkat keberhasilan 50 persen (lihat kotak, genggaman yang direncanakan dengan benar) Cangkir baja reflektif - Sensor standar: bingung oleh pantulan - Kedalaman LingBot: keberhasilan yang konsisten (geometri masuk akal yang direkonstruksi) Ini bukan hanya angka yang lebih baik pada tolok ukur. Ini adalah robot yang benar-benar dapat mengambil gelas air Anda tanpa menjatuhkannya.