Ant Group har nettopp åpnet LingBot-Depth. Den løser den vanskeligste dybdesynsutfordringen innen robotikk: håndtering av gjennomsiktige og reflekterende objekter. Roboter har "øyne" (sensorer), men de er vanligvis blinde for ting som glasskopper eller blanke metallboller. De ser bokstavelig talt gjennom dem eller blir blendet av refleksjoner. LingBot-Depth fikser denne blindheten, og lar roboter «se» og samhandle med det usynlige. Kort oppsummert: - 10 millioner treningsprøver (~3,1 millioner kuraterte + 7 millioner offentlige) - SOTA om dybdefullføringsbenchmarks - Fungerer for monokulær dybde, stereo, videodybde og 3D-sporing - Griper gjennomsiktige/reflekterende objekter med suksess i ekte robottester Flere detaljer nedenfor 👇 1/6

2/6 Det største problemet for øyeblikket er at standard robotkameraer (RGB-D) fungerer ved å projisere lys for å måle avstand. Men når lyset treffer et glassvindu eller et speil, reflekteres det ikke riktig tilbake, det går gjennom eller sprer seg. Roboten ser bare et «svart hull» eller en lyd. Den tror det ikke er noe der, så den prøver å gå gjennom glassdøren eller knuse koppen. Løsning: LingBot-Depth snur dette. I stedet for å filtrere ut disse «sorte hullene», bruker den dem som et læringssignal. Den lærer AI-en å bruke den omkringliggende konteksten (tabellen, skyggen) til å "fylle inn tomrommene" og rekonstruere det usynlige objektet.

3/6 De tok en visjonsmodell (ViT-koder) og trente den til å spille et «fyll-i-hullet»-spill med ødelagte dybdekart. Modellen lærer å se på: - Hva RGB-kameraet ser (farger, kanter, skygger) - De delvise dybdedataene som FUNGERER - Mønstrene for det som mangler Deretter rekonstruerer den hele scenen, inkludert de usynlige delene. Det smarte: de lagde ikke falske masker. De brukte bare sensorens naturlige feil som treningsdata. Hver gang kameraet ikke så glass eller metall, ble det en lærepenge.

4/6 LingBot-Depth slår eksisterende metoder på standard dybdebenchmarks (iBims, NYUv2) og jobber på tvers av flere oppgaver uten omtrening: - Videodybde: Holder dybden konsistent på tvers av bilder, selv for bevegelige transparente objekter - Stereomatching: Forbedrer nøyaktigheten når det kombineres med stereokamerasystemer - 3D-sporing: Hjelper til med å spore objekter gjennom rommet jevnere Den generaliserer fordi den lærte å håndtere «manglende informasjon» som en kjerneferdighet, ikke som et randtilfelle.

5/6 Ekte robottest De monterte systemet på en robotarm (Rokae XMate SR5) og ga det to umulige oppgaver: Gjennomsiktig oppbevaringsboks - Standard dybdesensor: fullstendig feil (0 prosent suksess, kunne ikke engang oppdage det) - LingBot dybde: 50 prosent suksessrate (så boksen, planla grepet riktig) Reflekterende stålkopp - Standardsensor: forvirret av refleksjoner - LingBot Depth: konsekvent suksess (rekonstruert plausibel geometri) Dette er ikke bare bedre tall på en referanse. Det er en robot som faktisk kan gripe vannglasset ditt uten å velte det.