Estamos ayudando a la IA a ver el mundo 3D en movimiento como lo hacen los humanos. 🌐 Presentamos D4RT: un modelo unificado que convierte video en representaciones 4D más rápido que los métodos anteriores, permitiéndole entender el espacio y el tiempo. Así es como funciona 🧵

Para percibir una escena 2D capturada en video, una IA debe rastrear cada píxel de cada objeto a medida que se mueve. 🔍️️ Capturar este nivel de geometría y movimiento requiere procesos computacionalmente intensivos que conducen a reconstrucciones lentas y fragmentadas. Pero D4RT adopta un enfoque diferente.

D4RT codifica los videos de entrada en una versión comprimida, luego procesa y consulta los datos utilizando un decodificador ligero en paralelo. Esto lo hace extremadamente rápido y escalable, ya sea para rastrear solo unos pocos puntos o para reconstruir toda una escena. 🖼️

Muchas tareas 4D ahora se pueden resolver con un solo modelo, lo que nos permite: 👉 Predecir la trayectoria 3D de un píxel buscando su ubicación a través de diferentes pasos de tiempo. ⏱️ Congelar el tiempo y el punto de vista de la cámara para generar la estructura 3D completa de una escena.

D4RT incluso puede crear y alinear instantáneas 3D de un solo momento desde diferentes puntos de vista, recuperando fácilmente la trayectoria de la cámara. 🎥