Jeg fikk tidlig tilgang til PixVerse-R1, en sanntidsverdensmodell. Dette er ganske lovende! R1 er et fundamentalt annerledes paradigme: I stedet for å generere faste klipp, skaper den uendelige, kontinuerlige visuelle strømmer som reagerer umiddelbart på brukerinput. (Invitasjonskoder nedenfor)

Plattformen genererer videoer merkbart raskt! Du kan starte med et klipp og legge til nye scener. Modellen opprettholder konsistens mens du fortsetter. De fleste videoverktøy gir deg et klipp, og så starter du på nytt. Dette føles mer som å styre noe som allerede er i bevegelse.

Arkitekturen i @PixVerse_ modell har tre kritiske deler: 1. En native multimodal grunnlagsmodell som samler tekst, bilde, video og lyd i én tokenstrøm. 2. En autoregressiv minnemekanisme som opprettholder konsistens over uendelig lange sekvenser. 3. En "Instantaneous Response Engine" som kutter samplingssteg fra dusinvis ned til 1-4. Den siste delen er nøkkelen: det er det som får denne modellen til å fungere i sanntid.

Det er fortsatt vanskelig å få modellen til å generere akkurat det du har i tankene. Det krever flere forsøk å realisere en bestemt historie. Dette er et problem med videogenerering generelt. Vi er fortsatt langt unna at dette erstatter Hollywood.

Det finnes flere begrensninger ved sanntids videogenerering: 1. Små prediksjonsfeil bygger seg opp over utvidede sekvenser 2. Beregningskostnadene er høye (og er fortsatt en flaskehals) Vi er tidlig ute, men utviklingen her ser ganske bra ut!

Fremtiden ser virkelig lys ut: • Et spill som genererer miljøene mens du spiller. 100 % på sparket. • En film der seeren påvirker de narrative utfallene. • Simuleringer for forskning, industriell planlegging og til og med økologisk modellering som utvikler seg basert på beslutninger. Det er målet her: Å ha «vedvarende, interaktive verdener i stedet for endelige medieartefakter.»