Estamos ajudando a IA a enxergar o mundo 3D em movimento como os humanos fazem. 🌐 Entra em cena o D4RT: um modelo unificado que transforma vídeo em representações 4D mais rápido do que métodos anteriores – permitindo que ele entenda o espaço e o tempo. É assim que funciona 🧵

Para perceber uma cena 2D capturada em vídeo, uma IA deve rastrear cada pixel de cada objeto enquanto ele se move. 🔍️️ Capturar esse nível de geometria e movimento requer processos computacionalmente intensivos que levam a reconstruções lentas e fragmentadas. Mas D4RT adota uma abordagem diferente.

O D4RT codifica vídeos de entrada em uma versão comprimida, depois processa e consulta os dados usando um decodificador leve em paralelo. Isso torna tudo extremamente rápido e escalável – seja para acompanhar apenas alguns pontos ou para reconstruir uma cena inteira. 🖼️

Muitas tarefas 4D agora podem ser resolvidas com um único modelo, permitindo-nos: 👉 Preveja a trajetória 3D de um pixel procurando sua localização em diferentes passos de tempo. ⏱️ Congele o tempo e o ponto de vista da câmera para gerar a estrutura 3D completa de uma cena.

O D4RT pode até criar e alinhar instantâneos 3D de um único momento a partir de diferentes pontos de vista – recuperando facilmente a trajetória da câmera. 🎥