コードが世界を構築するなら、動画モデルは描画だけで済むのか

導入

動画生成モデルは通常、シーンの構造を考え、物体を動かし、カメラを制御し、さらに見た目まで生成する役割を同時に担う。これに対して、マルチモーダルなコーディングエージェントは、コードによって物体、運動、空間関係、カメラ経路を含む実行可能な4D世界を構築できる。ならば動画モデルは、世界を発明するのではなく、その世界を別の見た目に変換する「生成レンダラー」になれるのだろうか。

WorldDraftはこの問いを検証するためのベンチマークである。評価では映像の見栄えだけを測らず、二つの能力を分けて考える。ひとつは、指定された4Dの運動学とカメラ経路を維持する世界の保持。もうひとつは、テキストで指示された色、質感などの属性を、時間を通じて一貫して反映する視覚的実現である。

制御されたテスト設計

WorldDraftは、48種類の実行可能な4D世界ファミリーにまたがる432件の厳密なペアテストで構成され、6種類の動的チャレンジを含む。3×3の要因設計では、抽象的な代理表現からプリビズ相当まで草稿の細かさを変え、同時に外観の整合性も中立的な条件から矛盾する条件まで変化させる。動きの条件をそろえることで、モデルが世界の構造を保ったのか、それとも入力画像の見た目を単にコピーしたのかを比較しやすくしている。

評価からは、主に三つの傾向が見える。

• 構造保持と外観実現には緊張関係がある。 動きやカメラを維持できても、テキストによる外観変更に失敗する場合がある。逆に見た目を合わせることで、動きが崩れることもある。
• 詳細な草稿は諸刃の剣である。 情報量の多い草稿はシーンの構造を固定しやすいが、テクスチャやスタイルまでモデルが引き継ぎ、変更すべき外観属性を置き換えにくくする。
• 矛盾する手掛かりはソース漏洩を招く。 草稿の外観とテキスト目標が食い違うと、入力側の属性が出力に残る。報告されたソース漏洩は最大64%に達した。

WorldDraft-Primerの意味

研究では、WorldDraft-Primerというプラグアンドプレイ型の視覚プロンプト手法も提案している。これは動画モデル自体を変更したり再学習したりせず、草稿のうち保持すべき構造と、テキストに従って描き直すべき外観を区別しやすくする。報告された評価では、世界の保持と視覚的実現の双方を一貫して改善した。

研究への影響

WorldDraftの重要性は、新しいベンチマークを提示したことだけではない。プログラムによるシミュレーションと生成動画の接続点を、より明確にした点にある。将来は、コードが検証可能な世界状態を提供し、動画モデルがその世界を視覚化するという分業が可能になるかもしれない。

ただし、入力草稿を詳細にすれば自動的に制御性が高まるわけではない。モデルが運動や形状の制約、参考情報としての外観、変更対象となる属性を分離できて初めて、信頼できる生成レンダラーに近づける。WorldDraftは、時間的一貫性だけでなく、クロスモーダルな情報分離を測る必要性も示している。

出典：Hugging Face Daily Papers