Wir helfen der KI, die 3D-Welt in Bewegung so zu sehen, wie es Menschen tun. 🌐 Betreten Sie D4RT: ein einheitliches Modell, das Videos schneller in 4D-Darstellungen umwandelt als frühere Methoden - und es ermöglicht, Raum und Zeit zu verstehen. So funktioniert es 🧵

Um eine 2D-Szene, die auf Video aufgenommen wurde, wahrzunehmen, muss eine KI jeden Pixel jedes Objekts verfolgen, während es sich bewegt. 🔍️️ Die Erfassung dieses Maßes an Geometrie und Bewegung erfordert rechenintensive Prozesse, die zu langsamen und fragmentierten Rekonstruktionen führen. Aber D4RT verfolgt einen anderen Ansatz.

D4RT kodiert Eingabevideos in eine komprimierte Version, verarbeitet die Daten dann und fragt sie mithilfe eines leichten Decoders parallel ab. Das macht es extrem schnell und skalierbar - egal, ob man nur ein paar Punkte verfolgen oder eine gesamte Szene rekonstruieren möchte. 🖼️

Viele 4D-Aufgaben können jetzt mit einem Modell gelöst werden, was es uns ermöglicht: 👉 Die 3D-Bahnen eines Pixels vorherzusagen, indem wir nach seinem Standort über verschiedene Zeitstufen suchen. ⏱️ Die Zeit und den Kamerablickpunkt einzufrieren, um die vollständige 3D-Struktur einer Szene zu generieren.

D4RT kann sogar 3D-Schnappschüsse eines einzelnen Moments aus verschiedenen Blickwinkeln erstellen und ausrichten - und dabei die Kameratrajektorie mühelos wiederherstellen. 🎥