Ik heb vroege toegang gekregen tot PixVerse-R1, een real-time wereldmodel. Dit is behoorlijk veelbelovend! R1 is een fundamenteel ander paradigma: In plaats van vaste clips te genereren, creëert het oneindige, continue visuele stromen die onmiddellijk reageren op gebruikersinvoer. (Uitnodigingscodes hieronder)

Het platform genereert video's merkbaar snel! Je kunt beginnen met een clip en daar nieuwe scènes aan toevoegen. Het model behoudt consistentie terwijl je verder gaat. De meeste videotools geven je een clip, en dan begin je opnieuw. Dit voelt meer als het sturen van iets dat al in beweging is.

De architectuur van het model van @PixVerse_ heeft drie cruciale onderdelen: 1. Een native multimodale fundamentmodel dat tekst, afbeelding, video en audio verenigt in één tokenstroom. 2. Een autoregressief geheugensysteem dat consistentie behoudt over oneindig lange sequenties. 3. Een "Instantaneous Response Engine" die het aantal steekproeven vermindert van tientallen naar 1-4. Dat laatste onderdeel is essentieel: het is wat dit model in real-time laat werken.

Het is nog steeds moeilijk om het model precies te laten genereren wat je in gedachten hebt. Het kost meerdere pogingen om een specifiek verhaal te realiseren. Dit is een probleem met video-generatie in het algemeen. We zijn nog een lange weg verwijderd van het vervangen van Hollywood.

Er zijn verschillende beperkingen bij het genereren van video in real-time: 1. Kleine voorspellingsfouten stapelen zich op over langere sequenties 2. De computatiekosten zijn hoog (en blijven een knelpunt) We zijn nog vroeg, maar de koers hier ziet er behoorlijk goed uit!

De toekomst is echt helder: • Een spel dat de omgevingen genereert terwijl je speelt. 100% on-the-fly. • Een film waarin de kijker de narratieve uitkomsten beïnvloedt. • Simulaties voor onderzoek, industriële planning en zelfs ecologische modellering die evolueren op basis van beslissingen. Dat is het doel hier: Om "persistente, interactieve werelden te hebben in plaats van eindige media-artikelen."