生成された場面が見た目に自然でも、同じ場所を再訪したときに以前の状態が保たれるとは限らない。動画ベースの世界モデルでは、ユーザーが視点を変えたり戻ったりするたび、生成器が環境を再構成することがある。その結果、以前に編集した物体がずれたり、消えたりする可能性がある。WM^MLLMは、世界全体を生成器の文脈に委ねるのではなく、改訂履歴を持つ全景として明示的に保存する構成を提案する。
状態を保ち、そこから視点を生成
システムは1枚の画像から始め、ユーザーは新しい場所へ移動したり、テキストや範囲指定で物体を編集したり、対象を配置したり、光・天候・季節を変更したりできる。マルチモーダル大規模言語モデル(MLLM)は依頼を世界状態に対する操作へ変換する。さらに局所編集をどこへ書き込むかを選び、候補結果を確認してから次の状態として採用する。画像生成器は視点画像を提案し、動画はそれらを提示する。世界を保持する唯一の仕組みを生成器に任せない点が特徴だ。
この設計では、持続性はモデルが「覚えている」ことへの期待ではなく、システム構成によって実現する性質となる。依頼は毎回、直前の結果を引き継いで処理される。同じバージョンで同じ場所に戻れば、以前の視点を完全に再現するよう設計されている。また、局所編集では指定領域外の全景ピクセルを変えない。いずれも、生成結果の一貫性を願うだけでなく、状態を管理する仕組みで制約する考え方だ。
論文が報告する評価
MBench-Aで6つの世界モデルを比較したところ、WM^MLLMは環境復元に関する4指標の平均で最高だったと著者らは報告する。Epipolar指標は91.5で、比較手法の報告範囲は0.1~74.0。カメラの往復タスクの達成率は85.3%で、他手法の最高値は50.9%だった。112件の盲検評価による局所編集では、生成後に書き込み領域を選ぶ方法により完了率が34.8%から83.0%に上がったという。また、WBenchとMBench-Aの258項目における再訪46回すべてで、以前の視点を復元したとされる。これらは論文が報告した評価結果であり、あらゆる場面で同じ結果を保証するものではない。
意義と残る課題
世界状態を生成器から切り離せば、対話型の環境を追跡・修正・再訪しやすくなる可能性がある。複数回にわたる依頼も、毎回新しい画像を作るのではなく、既存の世界を基準に処理できる。ただし、全景表現が大規模な複数部屋や動的な3D環境にどこまで拡張できるかは、素材でも未解決の問いとして挙げられている。システムコストや、あらゆる遮蔽・長期変化への対応も、ここで示された情報だけでは判断できない。現時点では、有望な評価結果を伴うアーキテクチャ上の提案として捉え、適用範囲は追加検証を待つのが妥当だ。
コメント
ログイン状態を確認中…
コメントを読み込み中…