Dit is een samenvatting in eenvoudig Engels van een onderzoeksartikel genaamd <a href=" Multi-modal Video-Audio Generation, Inpainting and Editing model</a>. Als je dit soort analyses leuk vindt, sluit je dan aan bij <a href=" of volg ons op <a href=" <h2>Het probleem met video-generatie vandaag de dag</h2> <p>Jarenlang zijn video-generatie en audio-generatie vreemden geweest in aparte laboratoria. Huidige videomodellen zijn echt indrukwekkend geworden, in staat om fotorealistische scènes te synthetiseren met complexe beweging en rijke details. Toch opereren ze in een vacuüm, waarbij audio wordt behandeld als optionele decoratie of volledig wordt genegeerd.</p> <p>Dit creëert een concreet probleem: temporele misalignering. Wanneer je een video genereert van regen die op een metalen dak valt, is de audio (als die al aanwezig is) onafhankelijk gecreëerd. Een deur die dichtvalt in de video synchroniseert niet met een deur die dichtvalt in de audio. De dialoog van een personage komt niet overeen met hun lipbewegingen. Het resultaat voelt vreemd aan, als een nagesynchroniseerde film waar altijd iets een beetje niet klopt.</p> <p>Het diepere probleem is architectonisch. De meeste multimodale modellen beschouwen tekst als de enige dirigent, waarbij alles andere haar dient. Maar in echte filmproductie informeren video en audio elkaar voortdurend. Een close-up van regen gaat niet alleen over pixels, het gaat over akoestiek. Een drukke marktscène heeft audio nodig die je vertelt welke gesprekken belangrijk zijn. De cameraman en de geluidstechnicus moeten samenwerken, niet sequentieel werken.</p> <h2>Waarom geluid geboren moet worden met visie, en niet later moet worden toegevoegd</h2> <p>Stel je twee muzikanten voor in een verduisterde kamer, die elkaar niet kunnen zien maar aandachtig luisteren. De een speelt snaren, de ander speelt percussie. Ze delen een dirigent (de tekstprompt) en een referentie-opname (de scène beschrijving). Ze kunnen elkaar niet zien, maar ze horen zichzelf muziek maken en blijven op tijd. Dat is de architectonische inzicht van SkyReels-V4.</p> <p>Audio wordt hier niet gegenereerd na video. In plaats daarvan genereren beide takken parallel, waarbij ze elkaar conditioneren. De videotak leert dat een audioreferentie een hond laat blaffen, dus synthetiseert het beweging die overeenkomt met de timing en energie van die blaf. De audiotak hoort dat de video een hond bevat, dus genereert het geluiden die consistent zijn met de aanwezigheid van dat dier. Dit is fundamenteel anders dan andere benaderingen die audio als een bijgedachte aan video vastmaken.</p> <p>Wanneer twee generatieve processen dezelfde inputbegrip delen, kunnen ze worden georkestreerd. Ze zijn geen onafhankelijke modellen die sequentieel worden doorgegeven, ze zijn twee delen van één verenigd idee.</p> <h2>Architectuur: dubbele stromen met een gedeelde geest</h2> <p>SkyReels-V4 gebruikt een <strong>Dual-stream Multimodal Diffusion Transformer (MMDiT)</strong> waarbij de ene tak video synthetiseert en de andere audio genereert, terwijl beide putten uit een gedeelde conceptuele basis. Hier is hoe de stukken in elkaar passen.</p> <p>De videotak synthetiseert frames in een geleerd latente ruimte met behulp van diffusie, waarbij rijke visuele conditionering wordt geaccepteerd: tekstbeschrijvingen, referentiebeelden, maskers voor inpainting, zelfs volledige videoclips. De audiotak genereert geluidspectrogrammen via hetzelfde diffusieproces, geconditioneerd op tekst- en audioreferenties. Beide takken zijn verankerd in een <strong>Multimodal Large Language Model (MMLM)</strong> gebaseerde tekstencoder die visuele concepten net zo goed begrijpt als taal. Wanneer je een "onweersbui boven een tarweveld" beschrijft, vangt deze encoder zowel de visuele rijkdom als de sonische verwachtingen die in die beschrijving zijn ingebed.