Przedstawiamy nasz nowy model wideo na granicy technologii, Runway Gen-4.5. Wcześniej znany jako Whisper Thunder (aka) David. Gen-4.5 to najnowocześniejsza technologia, która ustanawia nowy standard jakości ruchu generowanego wideo, przestrzegania poleceń i wierności wizualnej. Dowiedz się więcej poniżej.

Runway Gen-4.5 reprezentuje znaczące postępy zarówno w zakresie efektywności danych wstępnego szkolenia, jak i technik po szkoleniu dla modeli wideo, i stanowi nasz nowy model podstawowy dla modelowania świata. Gen-4.5 zdobył 1,247 punktów Elo w rankingu Artificial Analysis Text to Video, ustanawiając nowy standard i przewyższając wszystkie inne modele wideo AI na świecie.

Dwa lata temu wprowadziliśmy Gen-1, pierwszy publicznie dostępny model generowania wideo. Umożliwił on zupełnie nową formę kreatywnej ekspresji i stworzył nową kategorię produktów. W ciągu ostatnich dwóch lat przewodziliśmy branży w zakresie zwiększania mocy i kontroli modeli wideo, od wprowadzania znaczących ulepszeń modeli bazowych po umożliwienie nowych kontroli i ogólnych możliwości edycji. Dziś wprowadzamy Gen-4.5 — zwieńczenie długotrwałych badań mających na celu rozwój wstępnego i pośredniego szkolenia modeli wideo.

Model doskonale radzi sobie z rozumieniem i wykonywaniem złożonych, sekwencyjnych instrukcji. Możesz określić szczegółową choreografię kamery, skomplikowane kompozycje scen, precyzyjny czas wydarzeń oraz subtelne zmiany atmosferyczne, wszystko w ramach jednego polecenia. Pozostajemy zaangażowani w tworzenie wysoce kontrolowanych i elastycznych narzędzi, które pomogą Ci zrealizować Twoją wizję. Oprócz Text to Video, wprowadzimy wszystkie istniejące tryby kontrolne (Image to Video, Keyframes, Video to Video) i więcej do Gen-4.5.

Gen-4.5 osiąga bezprecedensowy poziom dokładności fizycznej i precyzji wizualnej. Obiekty poruszają się z realistyczną wagą i pędem. Powierzchnie zachowują się tak, jakby to miało miejsce w prawdziwym świecie. Prawa fizyki mogą być zarówno obserwowane, jak i ignorowane, w zależności od twojej wizji. Pomimo dużego skoku w możliwościach, pozostają ograniczenia, takie jak błędy w rozumowaniu przyczynowym i trwałości obiektów. Wierzymy, że te tryby błędów muszą zostać rozwiązane, aby dalej rozwijać modelowanie świata, i aktywnie pracujemy nad ich rozwiązaniem.

Gen-4.5 został opracowany w całości na GPU NVIDIA w trakcie początkowych badań i rozwoju, wstępnego szkolenia, szkolenia końcowego oraz wnioskowania. Współpracowaliśmy intensywnie z NVIDIA, aby przesunąć granice tego, co możliwe w optymalizacji modeli dyfuzji wideo, od efektywności szkolenia po prędkość wnioskowania. Wnioskowanie modelu działa na GPU z serii NVIDIA Hopper i Blackwell, zapewniając zoptymalizowaną wydajność bez kompromisów w jakości. To podejście, które jest pierwsze w branży, pozwala Gen-4.5 osiągnąć bezprecedensowe możliwości.

Stopniowo udostępniamy dostęp do Runway Gen-4.5. Będzie dostępny dla wszystkich w nadchodzących dniach. Dowiedz się więcej:

Gen-4.5 został opracowany w całości na GPU @nvidia w trakcie początkowych badań i rozwoju, wstępnego treningu, treningu końcowego oraz wnioskowania. Współpracowaliśmy intensywnie z NVIDIA, aby przesunąć granice tego, co możliwe w optymalizacji modeli dyfuzji wideo, od efektywności treningu po szybkość wnioskowania. Wnioskowanie modelu działa na GPU z serii NVIDIA Hopper i Blackwell, zapewniając zoptymalizowaną wydajność bez kompromisów w jakości. Podejście, które jest pierwsze w branży, pozwala Gen-4.5 osiągnąć bezprecedensowe możliwości.

@nvidia Stopniowo udostępniamy dostęp do Runway Gen-4.5. Będzie dostępny dla wszystkich w nadchodzących dniach. Dowiedz się więcej: