In questo esperimento volevo provare qualcosa con le espressioni facciali e farlo funzionare con gli strumenti nativi di Unreal Engine. Ho scoperto che generare la testa con la bocca aperta ha aiutato a ottenere alcuni dettagli extra. Creare quelle forme di mescolamento non è stato comunque facile e questo risultato è lontano dall'essere perfetto. Idealmente voglio 58 riferimenti di espressioni generate e lasciare che l'AI lo capisca haha. Tra l'altro, è la prima volta che cuocio i dettagli ad alta poligonatura sul personaggio generato a bassa poligonatura. Ha funzionato sorprendentemente bene! Il risultato finale ha 34k triangoli! Ho costruito questo personaggio in 4 parti separate in Blender e ho generato ogni parte in Hunyuan 3D Studio. I riferimenti originali provenivano da Nano Banana 2 e Grok. Trellis 2 in ComfyUI per la texturizzazione. L'animazione è stata realizzata con Control Rig in UEFN / Unreal Engine. Con tutti gli esperimenti finora, la gestione dei file e delle versioni inizia a diventare una sfida. Ottenere file da diverse piattaforme, ognuna con la propria logica di denominazione dei file. Dovrò trovare qualcosa per tenerlo più organizzato. Qualche suggerimento?

È pazzesco! Con LTX 2 in ComfyUI sono riuscito a mantenere il mio movimento della camera originale + ha fatto un completo lip-sync mentre cantava haha. Tutto in esecuzione localmente. Ho realizzato il video originale nel 2021 quando sono usciti per la prima volta i Metahumans e stavamo lavorando in Unreal Engine 4. Questo video musicale è stato una sorta di risultato dei miei primi esperimenti con Livelink e Control Rig a quel tempo. Ora la nuova versione migliorata dall'AI non è perfetta e non ho ancora addestrato alcun lora per la coerenza del personaggio. Non avevo nemmeno più il file video originale, quindi ho scaricato la versione di Youtube come input haha. Tuttavia, il risultato della camera + le espressioni facciali sono davvero promettenti! Mi chiedo come gestirebbe riprese più complesse e veloci.