Autamme tekoälyä näkemään 3D-maailman liikkeessä samalla tavalla kuin ihmiset. 🌐 Tässä astuu kuvaan D4RT: yhtenäinen malli, joka muuttaa videon 4D-esityksiksi nopeammin kuin aiemmat menetelmät – mahdollistaen ajan ja tilan ymmärtämisen. Näin se toimii 🧵

Jotta tekoäly havaitsisi videolle tallennetun 2D-kohtauksen, sen täytyy seurata jokaisen esineen jokaista pikseliä liikkeen aikana. 🔍️️ Tämän geometrian ja liikkeen tason tallentaminen vaatii laskennallisesti raskaita prosesseja, jotka johtavat hitaisiin ja sirpaleisiin rekonstruointiin. Mutta D4RT lähestyy asiaa eri tavalla.

D4RT koodaa syötevideot pakattuun versioon ja käsittelee sekä kysyy dataa kevyellä dekooderilla rinnakkain. Tämä tekee siitä erittäin nopean ja skaalautuvan – olipa kyse sitten vain muutaman pisteen seurannasta tai koko kohtauksen rekonstruoinnista. 🖼️

Monet 4D-tehtävät voidaan nyt ratkaista yhdellä mallilla, mikä mahdollistaa seuraavan: 👉 Ennusta pikselin 3D-lentorata etsimällä sen sijaintia eri aikaväleissä. ⏱️ Pysäytä aika ja kameran näkymä luodaksesi kohtauksen täydellisen 3D-rakenteen.

D4RT voi jopa luoda ja kohdistaa 3D-otoksia yksittäisestä hetkestä eri näkökulmista – helposti palauttaen kameran lentoradan. 🎥