Giới thiệu mô hình video mới của chúng tôi, Runway Gen-4.5. Trước đây được biết đến với tên gọi Whisper Thunder (còn gọi là) David. Gen-4.5 là công nghệ tiên tiến nhất và thiết lập tiêu chuẩn mới cho chất lượng chuyển động video, sự tuân thủ yêu cầu và độ trung thực hình ảnh. Tìm hiểu thêm bên dưới.

Runway Gen-4.5 đại diện cho những tiến bộ đáng kể trong cả hiệu quả dữ liệu tiền huấn luyện và kỹ thuật hậu huấn luyện cho các mô hình video, và phục vụ như là mô hình nền tảng mới của chúng tôi cho mô hình hóa thế giới. Gen-4.5 đã ghi được 1.247 điểm Elo trong bảng xếp hạng Phân tích Nhân tạo Văn bản thành Video, thiết lập một tiêu chuẩn mới và vượt qua tất cả các mô hình video AI khác trên thế giới.

Hai năm trước, chúng tôi đã giới thiệu Gen-1, mô hình tạo video đầu tiên có sẵn công khai. Nó đã mở ra một hình thức biểu đạt sáng tạo hoàn toàn mới và tạo ra một danh mục sản phẩm mới. Trong hai năm qua, chúng tôi đã dẫn đầu ngành công nghiệp trong việc làm cho các mô hình video mạnh mẽ và có thể kiểm soát hơn, từ việc mang lại những cải tiến đáng kể cho mô hình cơ sở đến việc cho phép các điều khiển mới và khả năng chỉnh sửa tổng quát. Hôm nay, chúng tôi giới thiệu Gen-4.5 — kết quả của một nỗ lực nghiên cứu dài hạn nhằm nâng cao việc tiền huấn luyện và hậu huấn luyện mô hình video.

Mô hình này xuất sắc trong việc hiểu và thực hiện các hướng dẫn phức tạp, có trình tự. Bạn có thể chỉ định các động tác camera chi tiết, các bố cục cảnh phức tạp, thời gian chính xác của các sự kiện và những thay đổi khí quyển tinh tế, tất cả trong một lời nhắc duy nhất. Chúng tôi cam kết tạo ra các công cụ có thể kiểm soát cao và linh hoạt giúp bạn hiện thực hóa tầm nhìn của mình. Ngoài Text to Video, chúng tôi sẽ mang tất cả các chế độ điều khiển hiện có (Image to Video, Keyframes, Video to Video) và nhiều hơn nữa đến Gen-4.5.

Gen-4.5 đạt được một mức độ chính xác vật lý và độ chính xác hình ảnh chưa từng có. Các đối tượng di chuyển với trọng lượng và động lượng thực tế. Bề mặt hành xử như cách chúng sẽ trong thế giới thực. Các định luật vật lý có thể được quan sát hoặc bị bỏ qua, tùy thuộc vào tầm nhìn của bạn. Mặc dù có bước nhảy vọt lớn về khả năng, nhưng vẫn còn những hạn chế, chẳng hạn như sự thất bại trong lý luận nguyên nhân và sự tồn tại của đối tượng. Chúng tôi tin rằng những chế độ thất bại đó cần được giải quyết để tiến xa hơn trong việc mô hình hóa thế giới, và đang tích cực làm việc để khắc phục chúng.

Gen-4.5 được phát triển hoàn toàn trên các GPU của NVIDIA trong suốt quá trình R&D ban đầu, huấn luyện trước, huấn luyện sau và suy diễn. Chúng tôi đã hợp tác chặt chẽ với NVIDIA để đẩy mạnh giới hạn của những gì có thể trong việc tối ưu hóa mô hình khuếch tán video, từ hiệu quả huấn luyện đến tốc độ suy diễn. Quá trình suy diễn mô hình chạy trên các GPU dòng NVIDIA Hopper và Blackwell, mang lại hiệu suất tối ưu mà không làm giảm chất lượng. Một cách tiếp cận đầu tiên trong ngành cho phép Gen-4.5 đạt được những khả năng chưa từng có.

Chúng tôi đang dần dần triển khai quyền truy cập vào Runway Gen-4.5. Nó sẽ có sẵn cho tất cả mọi người trong những ngày tới. Tìm hiểu thêm:

Gen-4.5 được phát triển hoàn toàn trên các GPU của @nvidia trong suốt quá trình R&D ban đầu, huấn luyện trước, huấn luyện sau và suy diễn. Chúng tôi đã hợp tác chặt chẽ với NVIDIA để đẩy giới hạn của những gì có thể trong tối ưu hóa mô hình khuếch tán video, từ hiệu quả huấn luyện đến tốc độ suy diễn. Quá trình suy diễn mô hình chạy trên các GPU dòng NVIDIA Hopper và Blackwell, mang lại hiệu suất tối ưu mà không làm giảm chất lượng. Một cách tiếp cận đầu tiên trong ngành cho phép Gen-4.5 đạt được những khả năng chưa từng có.

@nvidia Chúng tôi đang dần dần triển khai quyền truy cập vào Runway Gen-4.5. Nó sẽ có sẵn cho tất cả mọi người trong những ngày tới. Tìm hiểu thêm: