本日、私たちはCube Foundation Modelを活用した4D生成を開始します。クリエイターは、プレイヤーが車や飛行機などのインタラクティブな3Dオブジェクトを作成できる体験を作ることができます。これは始まりに過ぎません。AI主導の創造の次なる展開を見てみましょう。1/4
私たちの研究室では「リアルタイムドリーム」を開発しています。これは、テキストや画像から促されて完全に再生可能なビデオ世界を生成する能力です。 私たちのリアルタイムアクション条件付きワールドモデル(現在は内部で16fps、832x480pで動作中)は、独自開発のRoblox 3Dアバター/ワールドインタラクションデータを含む複数のデータで訓練されています。 ワールドモデルはマルチプレイヤーエンジンとは異なり、状態やメモリをビデオの潜在状態に保存します。Robloxはマルチプレイヤーであり、私たちは何千人ものプレイヤーの状態を同時に保存し、環境と同期させる最適な方法を積極的に研究しています。 私たちのワールドモデルはデータベース技術を活用しており、Roblox上のすべてのユーザーインタラクションをベクター形式で保存し、任意のカメラアングルから映像やインタラクションを再レンダリングできます。 Robloxの世界モデルにはいくつかの即時的な活用例が見られます。テキスト、画像、動画のプロンプトを並べて、没入型ワールドの自動生成を開始する手段として活用します。 Roblox Studioでは、クリエイターがプロンプトを使って世界を「描き」、それを3D表現に変換したり、Robloxネイティブに直接変換したりして、多くの人が同時にプレイできるようにしました。 これらすべてが「ドリームシアター」という概念を探求することで生き生きと描かれます。つまり、一人のユーザーが夢を見ている間に、他のユーザーが見て促すというものです。2/4
大規模で高忠実度の世界を支援するため、我々のエンジンはクラウドトランスコーディングシステムによる効率的なLOD戦略を実装し、メッシュやテクスチャをストリーミングします。これは低スペックのモバイルデバイスでも対応可能です。 このフレームワークを、プロンプトから3D世界のAIアップサンプリングへと拡大しています。以下のプレビュー動画では、単一のユーザープロンプトで、3Dアップサンプリング技術がジオメトリとテクスチャを更新し、クラシックなRobloxゲームCrossroadsを豊かな有機的なディテールを持つファンタジー世界へと変貌させます。3/4
私たちは毎月130億時間のプレイヤーとの交流をプラットフォーム上に行っています。このデータは、3D世界で推論し相互作用できる知能NPCの訓練を可能にします。私たちのトレーニングは、ゲームプレイの動画や簡単なWASDアクションを超え、人間関係をより詳細に表現するためにフルデータモデルを活用しています。 以下の動画では、RobloxのNPCが斧を探し、木を切り倒し、薪を焚き火の火に運ぶために逆算して焚き火を起こす方法を考え出す様子が映っています。 まだ初期の研究ですが、知的なNPCが実際のプレイヤーと共にプレイできる未来を想像しています。4/4
113