Estamos ayudando a la IA a ver el mundo 3D en movimiento como lo hacen los humanos. 🌐 Aquí entra D4RT: un modelo unificado que convierte el vídeo en representaciones 4D más rápido que métodos anteriores, permitiéndole comprender el espacio y el tiempo. Así es como funciona 🧵

Para percibir una escena 2D captada en vídeo, una IA debe seguir cada píxel de cada objeto mientras se mueve. 🔍️️ Capturar este nivel de geometría y movimiento requiere procesos computacionalmente intensivos que conducen a reconstrucciones lentas y fragmentadas. Pero D4RT adopta un enfoque diferente.

D4RT codifica los vídeos de entrada en una versión comprimida, luego procesa y consulta los datos usando un decodificador ligero en paralelo. Esto lo hace extremadamente rápido y escalable, ya sea para seguir solo unos pocos puntos o para reconstruir toda una escena. 🖼️

Muchas tareas 4D pueden resolverse ahora con un solo modelo, lo que nos permite: 👉 Predecir la trayectoria 3D de un píxel buscando su ubicación a lo largo de diferentes pasos temporales. ⏱️ Congela el tiempo y el punto de vista de la cámara para generar la estructura 3D completa de una escena.

D4RT incluso puede crear y alinear instantáneas 3D de un único momento desde diferentes puntos de vista, recuperando fácilmente la trayectoria de la cámara. 🎥