Мы помогаем ИИ видеть 3D-мир в движении так, как это делают люди. 🌐 Представляем D4RT: унифицированная модель, которая превращает видео в 4D-репрезентации быстрее, чем предыдущие методы, позволяя ей понимать пространство и время. Вот как это работает 🧵

Чтобы воспринять 2D-сцену, захваченную на видео, ИИ должен отслеживать каждый пиксель каждого объекта по мере его движения. 🔍️️ Захват такого уровня геометрии и движения требует вычислительно интенсивных процессов, что приводит к медленным и фрагментированным реконструкциям. Но D4RT использует другой подход.

D4RT кодирует входные видео в сжатую версию, затем обрабатывает и запрашивает данные с помощью легковесного декодера параллельно. Это делает его чрезвычайно быстрым и масштабируемым - будь то отслеживание всего нескольких точек или восстановление целой сцены. 🖼️

Многие 4D задачи теперь можно решать с помощью одной модели, что позволяет нам: 👉 Предсказывать 3D траекторию пикселя, исследуя его местоположение на разных временных этапах. ⏱️ Замораживать время и точку обзора камеры, чтобы создать полную 3D структуру сцены.

D4RT может даже создавать и выравнивать 3D-снимки одного момента с разных точек зрения - легко восстанавливая траекторию камеры. 🎥