W tym eksperymencie chciałem spróbować czegoś z wyrazami twarzy i sprawić, aby działało to z natywnymi narzędziami Unreal Engine. Zauważyłem, że generowanie głowy z otwartą buzią pomogło uzyskać dodatkowe szczegóły. Tworzenie tych blend shapes wciąż nie było łatwe, a ten wynik jest daleki od ideału. Idealnie chciałbym mieć 58 wygenerowanych odniesień do wyrazów twarzy i niech AI to ogarnie, haha. Przy okazji, to pierwszy raz, kiedy piekłem szczegóły wysokopoligonowe na niskopoligonowym wygenerowanym charakterze. To zadziałało zaskakująco dobrze! Końcowy wynik ma 34 tysiące trójkątów! Zbudowałem tę postać w 4 oddzielnych częściach w Blenderze i wygenerowałem każdą część w Hunyuan 3D Studio. Oryginalne odniesienia pochodziły z Nano Banana 2 i Grok. Trellis 2 w ComfyUI do teksturowania. Animacja została zrealizowana za pomocą Control Rig w UEFN / Unreal Engine. Przy wszystkich dotychczasowych eksperymentach zarządzanie plikami i wersjami zaczyna stawać się wyzwaniem. Otrzymywanie plików z różnych platform, z każdą platformą mającą swoją własną logikę nazw plików. Muszę znaleźć coś, co pozwoli mi to lepiej zorganizować. Jakieś sugestie?

To jest szalone! Dzięki LTX 2 w ComfyUI mogłem zachować moje oryginalne ruchy kamery + zrobiło pełną synchronizację ust podczas śpiewu haha. Wszystko działało lokalnie. Zrobiłem oryginalny film w 2021 roku, kiedy Metahumans dopiero się pojawiły i pracowaliśmy w Unreal Engine 4. Ten teledysk był pewnym wynikiem moich pierwszych eksperymentów z Livelink i Control Rig w tamtym czasie. Teraz nowa wersja AI poprawiona nie jest idealna i jeszcze nie trenowałem żadnego lora dla spójności postaci. Nie miałem też już oryginalnego pliku wideo, więc pobrałem wersję z YouTube jako wejście haha. Jednak wynik kamery + mimika twarzy są naprawdę obiecujące! Zastanawiam się, jak poradziłoby sobie z bardziej złożonymi i szybkimi ujęciami.