Sporing og objektdeteksjon for robotikk I robotteknologi er objektdeteksjon et øyeblikksbilde: «det er en flaske ved (x, y) i denne rammen.» Objektsporing er det vanskeligere, mer operative: «dette er den samme flasken som før, den beveget seg slik, og den er fortsatt der selv om jeg ikke ser den på 200 ms.» Tenk deg en mobil manipulator ved en kjøkkenbenk. Oppgaven er enkel på papiret: plukk den blå flasken fra et rotete bord mens en person beveger seg i nærheten. Roboten har et kamera (kanskje også dybde). Den kjører en objektdetektor og får en avgrensningsboks merket «flaske» med en konfidensscore. Det høres ut som persepsjon. Det er det ikke ennå. På ramme 1 ser detektoren flasken. På bilde 2 blokkerer personens arm det delvis, selvtilliten faller, og boksen forsvinner. På bilde 3 dukker flasken opp igjen, men detektoren flytter boksen litt. Fra planleggerens perspektiv har flasken blinket ut av eksistens og teleportert. I clutter får du også duplikater: detektoren kan produsere to plausible "flaskebokser" for samme objekt. Hvis roboten reagerer direkte på deteksjoner per bilde, ser du klassiske feilatferder: ➤ den nøler fordi målet "mangler" hvert par bilder, ➤ den omplanlegger konstant fordi målposisjonen skjelver, ➤ den strekker seg mot feil objekt når to lignende gjenstander dukker opp, ➤ Den kan ikke pålitelig håndheve «ikke kollider med personen» fordi personens boks også flimrer. Dette er grunnen til at robotpersepsjon sjelden stopper ved oppdagelse. Den trenger objektpermanens: evnen til å si «dette er fortsatt den samme flasken, selv om jeg mister den av syne et øyeblikk.» Sporing er det som gjør gjetninger bilde for bilde om til en stabil verdensmodell. En typisk tilnærming er «tracking-by-detection»: du kjører fortsatt en detektor hver frame, men fester deteksjoner til vedvarende spor (ID-er) over tid ved hjelp av prediksjon + assosiasjon. Konkret gjør trackeren tre ting: ➤ Forutsi "hvor skal flasken være nå?" ➤ Assosiert "hvilken deteksjon tilhører hvilket spor?" ➤ Oppretthold identitet under endringer Tilbake til bordscenen vår: når du sporer, slutter flasken å blinke. Den har en stabil ID, et glattet posisjonsestimat og ofte et hastighetsestimat. Nå kan planleggeren oppføre seg som en voksen: den kan vente ut et kort miljøskifte, forplikte seg til ett mål, og planlegge en trygg bane rundt en person i bevegelse. Selv med sporing vet roboten fortsatt ikke hva den gjør i menneskelige termer. Den har "Spor #7" med en avgrensningsboks og kanskje en klasseetikett "flaske." Det er ikke nok for reelle oppgaver, fordi ekte oppgaver handler om relasjoner og intensjon: ➤ "Velg den blå flasken (ikke den klare)." ➤ "Ikke strekk deg over personen." ➤ "Flasken er bak koppen." ➤ "Hvis personen strekker seg etter den, stopp opp." Det er her LLM-er (ofte paret med VLM-er) kan hjelpe ved å resonnere over en strukturert representasjon av scenen bygget av spor. Nøkkelen er at LLM-en må operere i en stabil tilstand. Hvis du gir den rå per-bilde-deteksjoner, får du lav resonnering fordi inngangene flimrer. Sporing gjør det semantiske laget sammenhengende.

Hvor er robotikk i dag? Den "løste" delen av robotikk er industriell automatisering i kontrollerte miljøer. Det er ikke perfekt, men det er modent nok til at det skalerer globalt. International Federation of Robotics rapporterte 4 281 585 industrielle roboter i drift i fabrikker verden over (World Robotics 2024). Og i World Robotics 2025-statistikken rapporterer IFR 542 000+ industrielle roboter installert i 2024, med årlige installasjoner over 500 000 i 4+ sammenhengende år. Det er «fabrikkfordelen»: oppgaver er repeterbare, miljøene er strukturerte, og sikkerhetsgrenser kan konstrueres. Når en robotarm sveiser eller plasserer komponenter, kan du begrense verden til roboten ser smart ut. Grensen er alt utenfor komfortsonen: mobile roboter i overfylte rom, feltrobotikk, fleksibel manipulasjon (å gripe rotete objekter), og ethvert scenario der roboten må resonnere under usikkerhet over lange perioder. Her er ikke hovedvanskeligheten «kan det gjøre en demo». Kjerneutfordringen er pålitelighet i stor skala: kan den utføre oppgaven trygt, forutsigbart og økonomisk tusenvis av ganger, inkludert de rare 2 % av tilfellene. Dette er også grunnen til at robotikk er besatt av sikkerhet og feilmoduser. En programvarefeil i en webapp er irriterende. En programvarefeil i en bevegelig maskin blir kinetisk. Det presser robotteamene mot konservativ utrulling: redundans, safe-stop-atferd, gradvise utrullinger og nøye overvåking. Det forklarer også hvorfor fysisk fremgang kan føles tregere enn ren programvare.

Krypterte mempooler er en av de reneste ideene innen MEV-avbøting: skjul transaksjonsdetaljer til det er for sent å starte dem. Hvis validatorer (eller en terskelkomité) ikke kan se nyttelasten, kan de ikke enkelt: - kopiere en handel, - smør det inn, - selge ordreflyten, - eller forhåndsposisjonere rundt den. I dette tilfellet bytter du ut «alle ser alt umiddelbart» med «avsløringen skjer senere og må koordineres.» Hovedkostnadene vises som: ➤ Latens / forsinkelse der noen design krever en avsløringsfase, et dekrypteringsvindu eller forhåndsbekreftelser. Det kan legge til tid før gjennomføringen er sikker. ➤ koordineringsrisiko der noen må dekryptere (et validatorsett, en komité eller en mekanisme). Hvis de feiler, stopper opp eller samarbeider, forverres brukeropplevelsen. ➤ Nye feilmoduser hvor nøkkelhåndtering, antakelser om livlighet og «hvem lærer hva når» blir en del av protokollens overflate. Så krypterte mempooler er ikke en gratis lunsj, men en bevisst beslutning om å betale en koordineringskostnad for å redusere synligheten.