記事一覧へ戻る

WM^MLLM、生成器の外に世界の状態を保存

読了目安 3 分

生成された場面が見た目に自然でも、同じ場所を再訪したときに以前の状態が保たれるとは限らない。動画ベースの世界モデルでは、ユーザーが視点を変えたり戻ったりするたび、生成器が環境を再構成することがある。その結果、以前に編集した物体がずれたり、消えたりする可能性がある。WM^MLLMは、世界全体を生成器の文脈に委ねるのではなく、改訂履歴を持つ全景として明示的に保存する構成を提案する。

状態を保ち、そこから視点を生成

システムは1枚の画像から始め、ユーザーは新しい場所へ移動したり、テキストや範囲指定で物体を編集したり、対象を配置したり、光・天候・季節を変更したりできる。マルチモーダル大規模言語モデル(MLLM)は依頼を世界状態に対する操作へ変換する。さらに局所編集をどこへ書き込むかを選び、候補結果を確認してから次の状態として採用する。画像生成器は視点画像を提案し、動画はそれらを提示する。世界を保持する唯一の仕組みを生成器に任せない点が特徴だ。

この設計では、持続性はモデルが「覚えている」ことへの期待ではなく、システム構成によって実現する性質となる。依頼は毎回、直前の結果を引き継いで処理される。同じバージョンで同じ場所に戻れば、以前の視点を完全に再現するよう設計されている。また、局所編集では指定領域外の全景ピクセルを変えない。いずれも、生成結果の一貫性を願うだけでなく、状態を管理する仕組みで制約する考え方だ。

論文が報告する評価

MBench-Aで6つの世界モデルを比較したところ、WM^MLLMは環境復元に関する4指標の平均で最高だったと著者らは報告する。Epipolar指標は91.5で、比較手法の報告範囲は0.1~74.0。カメラの往復タスクの達成率は85.3%で、他手法の最高値は50.9%だった。112件の盲検評価による局所編集では、生成後に書き込み領域を選ぶ方法により完了率が34.8%から83.0%に上がったという。また、WBenchとMBench-Aの258項目における再訪46回すべてで、以前の視点を復元したとされる。これらは論文が報告した評価結果であり、あらゆる場面で同じ結果を保証するものではない。

意義と残る課題

世界状態を生成器から切り離せば、対話型の環境を追跡・修正・再訪しやすくなる可能性がある。複数回にわたる依頼も、毎回新しい画像を作るのではなく、既存の世界を基準に処理できる。ただし、全景表現が大規模な複数部屋や動的な3D環境にどこまで拡張できるかは、素材でも未解決の問いとして挙げられている。システムコストや、あらゆる遮蔽・長期変化への対応も、ここで示された情報だけでは判断できない。現時点では、有望な評価結果を伴うアーキテクチャ上の提案として捉え、適用範囲は追加検証を待つのが妥当だ。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」
世界モデル
cctest.ai
世界モデル

動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」

見た目の自然な動画を生成できても、わずかな動作の違いが結果に及ぼす影響を捉えられるとは限りません。AFFECTは動作の摂動と視覚的変化の対応を学習し、ロボットの予測や計画の改善を目指します。

続きを読む
CCTest · Blog
Code World Model 2.0、構造プロキシから動画を生成
世界モデル
cctest.ai
世界モデル

Code World Model 2.0、構造プロキシから動画を生成

Invoker-Renderは、構造プロキシ、外観の参照画像、言語指示を組み合わせ、オフラインの動画制作とリアルタイム配信の両方を目指します。Progressive Forcingは、4ステップ生成で問題となる長時間のドリフト抑制に取り組みます。

続きを読む
CCTest · Blog
コードが世界を構築するなら、動画モデルは描画だけで済むのか
世界モデル
cctest.ai
世界モデル

コードが世界を構築するなら、動画モデルは描画だけで済むのか

WorldDraftは、プログラムで定義された4D世界の動きやカメラ経路を保ちながら、動画モデルが指定された外観を描画できるかを検証する。結果は、世界の保持と外観の忠実な実現が依然として両立しにくいことを示した。

続きを読む