In dit experiment wilde ik iets proberen met gezichtsuitdrukkingen en het laten werken met de native Unreal Engine-tools. Ik ontdekte dat het genereren van het hoofd met een open mond hielp om wat extra details te krijgen. Het creëren van die blend shapes was nog steeds niet gemakkelijk en dit resultaat is verre van perfect. Idealiter wil ik 58 gegenereerde expressie-referenties en dat AI dat uitzoekt haha. Trouwens, het is de eerste keer dat ik de hoge poly-details op het lage poly-gegeneerde karakter bak. Dat werkte verrassend goed! Het eindresultaat heeft 34k driehoeken! Ik heb dit karakter in 4 aparte delen in Blender gebouwd en elk deel gegenereerd in Hunyuan 3D Studio. De originele referenties kwamen van Nano Banana 2 en Grok. Trellis 2 in ComfyUI voor de texturering. De animatie is gedaan met Control Rig in UEFN / Unreal Engine. Met al de experimenten tot nu toe, begint het bestand- en versiebeheer een uitdaging te worden. Bestanden van verschillende platforms krijgen, waarbij elk platform zijn eigen bestandsnaamlogica heeft. Ik moet iets vinden om het beter georganiseerd te houden. Heb je suggesties?

Dit is gek! Met LTX 2 in ComfyUI kon ik mijn originele camerabeweging behouden + het deed een volledige lip-sync op het zingen haha. Alles draait lokaal. Ik maakte de originele video in 2021 toen Metahumans net uitkwamen en we werkten in Unreal Engine 4. Deze muziekvideo was een soort resultaat van mijn eerste experimenten met Livelink en Control Rig in die tijd. Nu is de nieuwe AI verbeterde versie niet perfect en ik heb nog geen lora getraind voor consistentie van de karakters. Ik had ook het originele videobestand niet meer, dus ik heb de Youtube-versie als input gedownload haha. Echter, het camer resultaat + gezichtsuitdrukkingen zijn echt veelbelovend! Ik vraag me af hoe het zou omgaan met complexere en snellere shots.