記事一覧へ戻る

Code World Model 2.0、構造プロキシから動画を生成

読了目安 3 分

概要

明示された世界の状態を、一貫性のある写実的な動画へ変換することは、実用的な世界モデルにとって重要な課題です。Code World Model 2.0では、この描画段階をInvoker-Renderが担います。構造プロキシ、外観の参照画像、テキスト指示を入力し、それらを映像生成の条件として利用します。オフラインでのクリップ制作に加え、対話的なリアルタイム配信も対象としています。

主なポイント

  • 詳細度を選べる共通インターフェース。 構造プロキシは、大まかなレイアウトにも、関節を含む細かな形状にもなり得ます。論文の説明によれば、細かい入力がある場合は幾何学的な制約を尊重し、粗い入力しかない場合は妥当な局所運動を生成します。たとえば粗いプロキシでキャラクターの移動経路を指定し、自然な歩き方をモデルに補わせたり、詳細なプロキシで手足の動きを導いたりできます。用途に応じて入力の詳しさを変えられる設計です。
  • 制作と配信に向けた二つのモデル。 Invoker-Renderは、双方向の動画制作モデルと、因果的に生成する4ステップのストリーミングモデルを組み合わせています。いずれもプロキシ、参照画像、言語を条件として使い、柔軟な制作と低遅延の生成を使い分ける狙いです。学習には、複数の詳細度をそろえた約200時間のデータが使われています。
  • 長時間生成を意識したProgressive Forcing。 ProForcingでは、まず因果予測器を学習し、学習動画から作った履歴を使って4ステップのレンダラーへ蒸留します。その後、モデル自身が生成した履歴を連続的に使うロールアウト学習に移ります。これにより、少ない生成ステップのモデルをストリーミングに適応させ、過去の生成誤差が積み重なる問題を抑えることを目指します。配信を支えるパイプライン型のサービング構成も用意されています。

意義と確認すべき点

動画生成の制御がテキストや画像だけに依存するのではなく、構造プロキシで空間配置や動きを明示できれば、ゲーム、仮想空間、運転シミュレーションなどで役立つ可能性があります。上流のシステムが世界の状態を管理し、レンダラーが見た目を生成するという分担がしやすくなるためです。また、常に精密な形状を用意しなくても、粗い代理表現から自然な動きを得られるかもしれません。

資料では、異なる種類・詳細度のプロキシやカメラ経路を使った実験を行い、最近のストリーミング手法より一貫して改善したと説明しています。さらに、入力軌道を追い、車とシーンの見た目を保つ30分のレース生成例も紹介されています。ただし、提供情報には具体的な評価値、実行環境、幅広い条件での失敗例はありません。「無限」の生成を実証したと受け取るのではなく、長時間の制御可能な動画を目指す研究として見るべきでしょう。急な動作変化や多様なタスクでの安定性は、今後確認したい点です。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」
世界モデル
cctest.ai
世界モデル

動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」

見た目の自然な動画を生成できても、わずかな動作の違いが結果に及ぼす影響を捉えられるとは限りません。AFFECTは動作の摂動と視覚的変化の対応を学習し、ロボットの予測や計画の改善を目指します。

続きを読む
CCTest · Blog
コードが世界を構築するなら、動画モデルは描画だけで済むのか
世界モデル
cctest.ai
世界モデル

コードが世界を構築するなら、動画モデルは描画だけで済むのか

WorldDraftは、プログラムで定義された4D世界の動きやカメラ経路を保ちながら、動画モデルが指定された外観を描画できるかを検証する。結果は、世界の保持と外観の忠実な実現が依然として両立しにくいことを示した。

続きを読む