Sporing og objektdeteksjon for robotikk I robotteknologi er objektdeteksjon et øyeblikksbilde: «det er en flaske ved (x, y) i denne rammen.» Objektsporing er det vanskeligere, mer operative: «dette er den samme flasken som før, den beveget seg slik, og den er fortsatt der selv om jeg ikke ser den på 200 ms.» Tenk deg en mobil manipulator ved en kjøkkenbenk. Oppgaven er enkel på papiret: plukk den blå flasken fra et rotete bord mens en person beveger seg i nærheten. Roboten har et kamera (kanskje også dybde). Den kjører en objektdetektor og får en avgrensningsboks merket «flaske» med en konfidensscore. Det høres ut som persepsjon. Det er det ikke ennå. På ramme 1 ser detektoren flasken. På bilde 2 blokkerer personens arm det delvis, selvtilliten faller, og boksen forsvinner. På bilde 3 dukker flasken opp igjen, men detektoren flytter boksen litt. Fra planleggerens perspektiv har flasken blinket ut av eksistens og teleportert. I clutter får du også duplikater: detektoren kan produsere to plausible "flaskebokser" for samme objekt. Hvis roboten reagerer direkte på deteksjoner per bilde, ser du klassiske feilatferder: ➤ den nøler fordi målet "mangler" hvert par bilder, ➤ den omplanlegger konstant fordi målposisjonen skjelver, ➤ den strekker seg mot feil objekt når to lignende gjenstander dukker opp, ➤ Den kan ikke pålitelig håndheve «ikke kollider med personen» fordi personens boks også flimrer. Dette er grunnen til at robotpersepsjon sjelden stopper ved oppdagelse. Den trenger objektpermanens: evnen til å si «dette er fortsatt den samme flasken, selv om jeg mister den av syne et øyeblikk.» Sporing er det som gjør gjetninger bilde for bilde om til en stabil verdensmodell. En typisk tilnærming er «tracking-by-detection»: du kjører fortsatt en detektor hver frame, men fester deteksjoner til vedvarende spor (ID-er) over tid ved hjelp av prediksjon + assosiasjon. Konkret gjør trackeren tre ting: ➤ Forutsi "hvor skal flasken være nå?" ➤ Assosiert "hvilken deteksjon tilhører hvilket spor?" ➤ Oppretthold identitet under endringer ...