Ich habe frühen Zugang zu PixVerse-R1, einem Echtzeit-Weltmodell. Das ist ziemlich vielversprechend! R1 ist ein grundlegend anderes Paradigma: Anstatt feste Clips zu generieren, erstellt es unendliche, kontinuierliche visuelle Streams, die sofort auf Benutzereingaben reagieren. (Einladungscodes unten)

Die Plattform generiert Videos bemerkenswert schnell! Du kannst mit einem Clip beginnen und neue Szenen hinzufügen. Das Modell hält die Konsistenz aufrecht, während du weitermachst. Die meisten Videotools geben dir einen Clip, und du fängst von vorne an. Das fühlt sich mehr an, als würde man etwas steuern, das bereits in Bewegung ist.

Die Architektur des Modells von @PixVerse_ hat drei entscheidende Komponenten: 1. Ein natives multimodales Grundmodell, das Text, Bild, Video und Audio in einen Token-Stream vereint. 2. Ein autoregressiver Gedächtnismechanismus, der Konsistenz über unbegrenzt lange Sequenzen hinweg aufrechterhält. 3. Eine "Sofortige Antwort-Engine", die die Abtastschritte von Dutzenden auf 1-4 reduziert. Der letzte Punkt ist entscheidend: Er ist es, der dieses Modell in Echtzeit funktionieren lässt.

Es ist immer noch schwierig, das Modell dazu zu bringen, genau das zu generieren, was man im Kopf hat. Es braucht mehrere Versuche, um eine spezifische Geschichte zu realisieren. Das ist ein allgemeines Problem bei der Videogenerierung. Wir sind noch weit davon entfernt, dass dies Hollywood ersetzt.

Es gibt mehrere Einschränkungen bei der Echtzeit-Videoerzeugung: 1. Kleine Vorhersagefehler summieren sich über längere Sequenzen 2. Die Rechenkosten sind hoch (und stellen immer noch einen Engpass dar) Wir sind noch am Anfang, aber die Entwicklung sieht hier ziemlich gut aus!

Die Zukunft ist wirklich vielversprechend: • Ein Spiel, das die Umgebungen während des Spiels generiert. 100% in Echtzeit. • Ein Film, bei dem der Zuschauer die narrativen Ergebnisse beeinflusst. • Simulationen für Forschung, industrielle Planung und sogar ökologische Modellierung, die sich basierend auf Entscheidungen weiterentwickeln. Das ist das Ziel hier: "Beständige, interaktive Welten statt endlicher Medienartefakte."