Vi hjälper AI att se den tredimensionella världen i rörelse som människor gör. 🌐 Här kommer D4RT in i scenen: en enhetlig modell som omvandlar video till 4D-representationer snabbare än tidigare metoder – vilket gör det möjligt för den att förstå rum och tid. Så här fungerar 🧵 det

För att uppfatta en 2D-scen som är inspelad på video måste en AI spåra varje pixel av varje objekt när det rör sig. 🔍️️ Att fånga denna nivå av geometri och rörelse kräver beräkningsintensiva processer som leder till långsamma och fragmenterade rekonstruktioner. Men D4RT tar en annan väg.

D4RT kodar inmatade videor till en komprimerad version, bearbetar och frågar sedan datan med en lättviktsavkodare parallellt. Detta gör det extremt snabbt och skalbart – oavsett om det gäller att spåra bara några få punkter eller att rekonstruera en hel scen. 🖼️

Många 4D-uppgifter kan nu lösas med en enda modell, vilket gör det möjligt för oss att: 👉 Förutsäg en pixels 3D-bana genom att leta efter dess position över olika tidssteg. ⏱️ Frys tiden och kameravinkeln för att generera en scens kompletta 3D-struktur.

D4RT kan till och med skapa och justera 3D-ögonblick från olika synvinklar – vilket enkelt återställer kamerans bana. 🎥