Sain varhaisen pääsyn PixVerse-R1:een, reaaliaikaiseen maailmamalliin. Tämä on aika lupaavaa! R1 on perustavanlaatuisesti erilainen paradigma: Sen sijaan, että tuottaisi kiinteitä klippejä, se luo äärettömiä, jatkuvia visuaalisia virtoja, jotka reagoivat välittömästi käyttäjän syötteeseen. (Kutsukoodit alla)

Alusta tuottaa videoita huomattavan nopeasti! Voit aloittaa pätkästä ja lisätä siihen uusia kohtauksia. Malli säilyttää johdonmukaisuuden samalla kun etenet. Useimmat videotyökalut antavat sinulle klipin, ja aloitat alusta. Tämä tuntuu enemmän siltä kuin ohjaisi jotakin, joka on jo käynnissä.

@PixVerse_:n mallin arkkitehtuurissa on kolme keskeistä osaa: 1. Natiivimultimodaalinen perustamalli, joka yhdistää tekstin, kuvan, videon ja äänen yhdeksi token-virraksi. 2. Autoregressiivinen muistimekanismi, joka ylläpitää johdonmukaisuutta loputtomien pitkien jonojen välillä. 3. "Välitön vastemoottori", joka leikkaa näytteenottovaiheet kymmenistä kymmenistä 1–4:ään. Viimeinen osa on avainasemassa: juuri se saa tämän mallin toimimaan reaaliajassa.

Mallin saaminen tuottamaan juuri sitä, mitä tarkoitat, on edelleen vaikeaa. Tietyn tarinan toteuttaminen vaatii useita yrityksiä. Tämä on ongelma videon generoinnissa yleisesti. Olemme vielä kaukana siitä, että tämä korvaisi Hollywoodin.

Reaaliaikaisen videon generoinnissa on useita rajoituksia: 1. Pienet ennustusvirheet kasaantuvat pitkissä sekvensseissä 2. Laskentakustannukset ovat korkeat (ja edelleen pullonkaula) Olemme aikaisin, mutta lentorata näyttää varsin hyvältä!

Tulevaisuus on todella valoisa: • Peli, joka luo ympäristöt pelin aikana. 100 % lennosta. • Elokuva, jossa katsoja vaikuttaa kertomuksen lopputuloksiin. • Simulaatiot tutkimukseen, teolliseen suunnitteluun ja jopa ekologiseen mallintamiseen, jotka kehittyvät päätösten pohjalta. Tässä on tavoite: Että olisi "pysyviä, interaktiivisia maailmoja rajallisten mediaesineiden sijaan."