Ми допомагаємо ШІ бачити 3D-світ у русі, як це роблять люди. 🌐 Зустрічайте D4RT: уніфіковану модель, яка перетворює відео на 4D-зображення швидше, ніж попередні методи, дозволяючи розуміти простір і час. Ось як це працює 🧵

Щоб сприймати 2D-сцену, захоплену на відео, ШІ повинен відстежувати кожен піксель кожного об'єкта під час його руху. 🔍️️ Фіксація такого рівня геометрії та руху вимагає обчислювально інтенсивних процесів, що призводить до повільних і фрагментованих реконструкцій. Але D4RT має інший підхід.

D4RT кодує вхідні відео у стисненій версії, а потім обробляє та запитує дані за допомогою легкого декодера паралельно. Це робить процес надзвичайно швидким і масштабованим — чи то для відстеження кількох точок, чи для реконструкції цілої сцени. 🖼️

Багато 4D-завдань тепер можна розв'язати однією моделлю, що дозволяє нам: 👉 Передбачте траєкторію 3D-пікселя, шукаючи його розташування на різних часових кроках. ⏱️ Зупинити час і точку огляду камери, щоб створити повну 3D-структуру сцени.

D4RT навіть може створювати та вирівнювати 3D-знімки одного моменту з різних точок зору — легко відновлюючи траєкторію камери. 🎥