Chúng tôi đang giúp AI nhìn thấy thế giới 3D trong chuyển động như con người. 🌐 Giới thiệu D4RT: một mô hình thống nhất biến video thành các đại diện 4D nhanh hơn các phương pháp trước đây - cho phép nó hiểu không gian và thời gian. Đây là cách nó hoạt động 🧵

Để nhận biết một cảnh 2D được ghi lại trên video, một AI phải theo dõi từng pixel của từng đối tượng khi nó di chuyển. 🔍️️ Việc ghi lại mức độ hình học và chuyển động này đòi hỏi các quy trình tính toán tốn kém, dẫn đến việc tái tạo chậm và bị phân mảnh. Nhưng D4RT lại có cách tiếp cận khác.

D4RT mã hóa video đầu vào thành một phiên bản nén, sau đó xử lý và truy vấn dữ liệu bằng một bộ giải mã nhẹ nhàng theo cách song song. Điều này làm cho nó cực kỳ nhanh chóng và có thể mở rộng - cho dù để theo dõi chỉ một vài điểm, hay để tái tạo toàn bộ cảnh. 🖼️

Nhiều nhiệm vụ 4D hiện nay có thể được giải quyết bằng một mô hình, cho phép chúng ta: 👉 Dự đoán quỹ đạo 3D của một pixel bằng cách tìm kiếm vị trí của nó qua các bước thời gian khác nhau. ⏱️ Đóng băng thời gian và góc nhìn của camera để tạo ra cấu trúc 3D hoàn chỉnh của một cảnh.

D4RT thậm chí có thể tạo và căn chỉnh các bức ảnh 3D của một khoảnh khắc duy nhất từ nhiều góc nhìn khác nhau - dễ dàng phục hồi quỹ đạo của camera. 🎥