Ant Group heeft zojuist LingBot-Depth open source gemaakt. Het lost de moeilijkste uitdaging op het gebied van dieptewaarneming in de robotica op: het omgaan met transparante en reflecterende objecten. Robots hebben "ogen" (sensoren), maar ze zijn meestal blind voor dingen zoals glazen kopjes of glanzende metalen kommen. Ze kijken letterlijk door deze objecten heen of worden verblind door reflecties. LingBot-Depth verhelpt deze blindheid, waardoor robots "zien" en kunnen interageren met het onzichtbare. TLDR: - 10M trainingsmonsters (~3,1M gecureerd + 7M publiek) - SOTA op benchmarks voor dieptevoltooiing - Werkt voor monoculaire diepte, stereo, video diepte en 3D-tracking - Grijpt met succes transparante/reflecterende objecten in echte robottests Meer details hieronder 👇 1/6

2/6 Het grootste probleem momenteel is dat standaard robotcamera's (RGB-D) werken door licht uit te projecteren om afstand te meten. Maar wanneer dat licht een glazen raam of een spiegel raakt, kaatst het niet correct terug, het gaat erdoorheen of verstrooit. De robot ziet gewoon een "zwarte gat" of ruis. Het denkt dat er niets is, dus probeert het door de glazen deur te lopen of de beker te verpletteren. Oplossing: LingBot-Depth draait dit om. In plaats van die "zwarte gaten" eruit te filteren, gebruikt het ze als een leersignaal. Het leert de AI om de omringende context (de tafel, de schaduw) te gebruiken om de "leemtes in te vullen" en het onzichtbare object te reconstrueren.

3/6 Ze namen een visiemodel (ViT-encoder) en trainden het om een "invulspel" te spelen met gebroken dieptekaarten. Het model leert te kijken naar: - Wat de RGB-camera ziet (kleuren, randen, schaduwen) - De gedeeltelijke dieptegegevens die WEL werken - De patronen van wat ontbreekt Daarna reconstrueert het de volledige scène, inclusief de onzichtbare delen. Het slimme gedeelte: ze creëerden geen nep-maskers. Ze gebruikten gewoon de natuurlijke fouten van de sensor als trainingsdata. Elke keer dat de camera niet in staat was om glas of metaal te zien, werd dat een les.

4/6 LingBot-Depth overtreft bestaande methoden op standaard diepte benchmarks (iBims, NYUv2) en werkt over meerdere taken zonder opnieuw te trainen: - Video diepte: Houdt diepte consistent over frames, zelfs voor bewegende transparante objecten - Stereo matching: Verbetert de nauwkeurigheid wanneer gecombineerd met stereo camerasystemen - 3D Tracking: Helpt objecten soepeler door de ruimte te volgen Het generaliseert omdat het heeft geleerd om "ontbrekende informatie" als een kernvaardigheid te behandelen, niet als een randgeval.

5/6 Echte Robot Test Ze monteerden het systeem op een robotarm (Rokae XMate SR5) en gaven het twee onmogelijke taken: Transparante opbergdoos - Standaard dieptesensor: volledige mislukking (0 procent succes, kon het zelfs niet detecteren) - LingBot Diepte: 50 procent succesratio (zag de doos, plande de greep correct) Reflectieve stalen beker - Standaard sensor: in de war door reflecties - LingBot Diepte: consistente succes (herbouwde plausibele geometrie) Dit zijn niet alleen betere cijfers op een benchmark. Het is een robot die daadwerkelijk je waterglas kan pakken zonder het om te stoten.