Ant Group tocmai a deschis LingBot-Depth. Rezolvă cea mai dificilă provocare a percepției adâncimii în robotică: manipularea obiectelor transparente și reflectorizante. Roboții au "ochi" (senzori), dar de obicei sunt orbi la lucruri precum pahare de sticlă sau boluri metalice lucioase. Se uită literalmente prin ele sau se orbesc de reflexii. LingBot-Depth remediază această orbire, permițând roboților să "vadă" și să interacționeze cu invizibilul. Pe scurt: - 10 milioane de mostre de antrenament (~3,1 milioane curate + 7 milioane publice) - SOTA privind reperele de completare a adâncimii - Funcționează pentru adâncime monoculară, stereo, adâncime video și urmărire 3D - Prinde cu succes obiecte transparente/reflectorizante în teste reale cu roboți Mai multe detalii mai jos 👇 1/6

2/6 Cea mai mare problemă în prezent este că camerele robot standard (RGB-D) funcționează prin proiectarea luminii pentru a măsura distanța. Dar când acea lumină lovește o fereastră de sticlă sau o oglindă, nu ricoșează corect, trece prin ea sau se împrăștie. Robotul vede doar o "gaură neagră" sau un zgomot. Crede că nu e nimic acolo, așa că încearcă să treacă prin ușa de sticlă sau să zdrobească ceașca. Soluție: LingBot-Depth răstoarnă situația. În loc să filtreze acele "găuri negre", le folosește ca semnal de învățare. Învață AI-ul să folosească contextul înconjurător (tabelul, umbra) pentru a "completa golurile" și a reconstrui obiectul invizibil.

3/6 Au luat un model de viziune (encoder ViT) și l-au antrenat să joace un joc de tip "completează golurile" cu hărți de adâncime defecte. Modelul învață să se uite la: - Ce vede camera RGB (culori, margini, umbre) - Datele de adâncime parțială care FUNCȚIONEAZĂ - Tiparele a ceea ce lipsește Apoi reconstruiește întreaga scenă, inclusiv părțile invizibile. Partea ingenioasă: nu au creat măști false. Au folosit doar eșecurile naturale ale senzorului ca date de antrenament. De fiecare dată când camera nu vedea sticlă sau metal, asta devenea o lecție.

4/6 LingBot-Depth depășește metodele existente pe benchmark-uri standard de adâncime (iBims, NYUv2) și funcționează pe mai multe sarcini fără a reantrena: - Adâncimea video: Menține adâncimea constantă între cadre, chiar și pentru obiecte transparente în mișcare - Potrivire stereo: Îmbunătățește acuratețea atunci când este combinată cu sisteme de camere stereo - Urmărire 3D: Ajută la urmărirea obiectelor prin spațiu mai lin Se generalizează pentru că a învățat să gestioneze "informațiile lipsă" ca o abilitate de bază, nu ca un caz limită.

5/6 Testul Robotului Real Au montat sistemul pe un braț robotic (Rokae XMate SR5) și i-au dat două sarcini imposibile: Cutie de depozitare transparentă - Senzor standard de adâncime: defecțiune completă (0% succes, nici măcar nu a putut detecta) - LingBot Depth: rată de succes de 50% (a văzut cutia, a planificat corect prinderea) Cupă reflectorizantă din oțel - Senzor standard: confuz din cauza reflexiilor - LingBot Depth: succes constant (geometrie plauzibilă reconstruită) Acestea nu sunt doar cifre mai bune pe un benchmark. Este un robot care poate să-ți apuce paharul cu apă fără să-l răstoarne.