概要
明示された世界の状態を、一貫性のある写実的な動画へ変換することは、実用的な世界モデルにとって重要な課題です。Code World Model 2.0では、この描画段階をInvoker-Renderが担います。構造プロキシ、外観の参照画像、テキスト指示を入力し、それらを映像生成の条件として利用します。オフラインでのクリップ制作に加え、対話的なリアルタイム配信も対象としています。
主なポイント
- 詳細度を選べる共通インターフェース。 構造プロキシは、大まかなレイアウトにも、関節を含む細かな形状にもなり得ます。論文の説明によれば、細かい入力がある場合は幾何学的な制約を尊重し、粗い入力しかない場合は妥当な局所運動を生成します。たとえば粗いプロキシでキャラクターの移動経路を指定し、自然な歩き方をモデルに補わせたり、詳細なプロキシで手足の動きを導いたりできます。用途に応じて入力の詳しさを変えられる設計です。
- 制作と配信に向けた二つのモデル。 Invoker-Renderは、双方向の動画制作モデルと、因果的に生成する4ステップのストリーミングモデルを組み合わせています。いずれもプロキシ、参照画像、言語を条件として使い、柔軟な制作と低遅延の生成を使い分ける狙いです。学習には、複数の詳細度をそろえた約200時間のデータが使われています。
- 長時間生成を意識したProgressive Forcing。 ProForcingでは、まず因果予測器を学習し、学習動画から作った履歴を使って4ステップのレンダラーへ蒸留します。その後、モデル自身が生成した履歴を連続的に使うロールアウト学習に移ります。これにより、少ない生成ステップのモデルをストリーミングに適応させ、過去の生成誤差が積み重なる問題を抑えることを目指します。配信を支えるパイプライン型のサービング構成も用意されています。
意義と確認すべき点
動画生成の制御がテキストや画像だけに依存するのではなく、構造プロキシで空間配置や動きを明示できれば、ゲーム、仮想空間、運転シミュレーションなどで役立つ可能性があります。上流のシステムが世界の状態を管理し、レンダラーが見た目を生成するという分担がしやすくなるためです。また、常に精密な形状を用意しなくても、粗い代理表現から自然な動きを得られるかもしれません。
資料では、異なる種類・詳細度のプロキシやカメラ経路を使った実験を行い、最近のストリーミング手法より一貫して改善したと説明しています。さらに、入力軌道を追い、車とシーンの見た目を保つ30分のレース生成例も紹介されています。ただし、提供情報には具体的な評価値、実行環境、幅広い条件での失敗例はありません。「無限」の生成を実証したと受け取るのではなく、長時間の制御可能な動画を目指す研究として見るべきでしょう。急な動作変化や多様なタスクでの安定性は、今後確認したい点です。
コメント
ログイン状態を確認中…
コメントを読み込み中…