Я получил ранний доступ к PixVerse-R1, модели мира в реальном времени. Это довольно многообещающе! R1 — это принципиально новая парадигма: Вместо того чтобы генерировать фиксированные клипы, он создает бесконечные, непрерывные визуальные потоки, которые мгновенно реагируют на ввод пользователя. (Коды приглашений ниже)

Платформа генерирует видео заметно быстро! Вы можете начать с клипа и добавлять к нему новые сцены. Модель поддерживает последовательность по мере вашего продвижения. Большинство видеоинструментов дают вам клип, и вы начинаете заново. Это больше похоже на управление чем-то, что уже находится в движении.

Архитектура модели @PixVerse_ состоит из трех критически важных частей: 1. Нативная мультимодальная основная модель, которая объединяет текст, изображения, видео и аудио в один поток токенов. 2. Автогрессивный механизм памяти, который поддерживает согласованность на бесконечно длинных последовательностях. 3. "Двигатель мгновенного ответа", который сокращает количество шагов выборки с десятков до 1-4. Последняя часть является ключевой: именно она позволяет этой модели работать в реальном времени.

Заставить модель генерировать именно то, что у вас на уме, все еще сложно. Потребуется несколько попыток, чтобы реализовать конкретную историю. Это проблема генерации видео в целом. Мы все еще далеки от того, чтобы это заменило Голливуд.

Существует несколько ограничений при генерации видео в реальном времени: 1. Небольшие ошибки предсказания накапливаются на длительных последовательностях 2. Вычислительные затраты высоки (и по-прежнему являются узким местом) Мы на ранней стадии, но траектория здесь выглядит довольно хорошо!

Будущее действительно светлое: • Игра, которая генерирует окружение по мере игры. 100% на лету. • Фильм, где зритель влияет на исходы повествования. • Симуляции для исследований, промышленного планирования и даже экологического моделирования, которые развиваются в зависимости от принятых решений. Вот цель здесь: Иметь "постоянные, интерактивные миры, а не конечные медиа-артефакты."