Orbia：生成動画は一貫した3D世界を形成できるのか

導入

動画生成モデルは、魅力的なクリップを作るだけでなく、操作可能な環境やシミュレーションの基盤として利用され始めています。しかし、各フレームがリアルに見えることと、その背後に安定した3D世界が存在することは同じではありません。視点を変えたり、いったん離れてから同じ場所に戻ったりすると、物体の形状や位置が変わることがあります。モデルが探索中に自ら生成した内容さえ、後で保持できない場合もあります。

Orbiaはこの問題を体系的に調べるために設計されました。視覚言語モデルに「一貫しているように見えるか」を尋ねるだけではなく、制御された探索と再訪を行い、外観、幾何、空間関係を測定します。

主なポイント

• 入力の保持：登録済みのRGB-D参照データと空間アンカーを利用し、元のシーンの外観、形状、相対位置が維持されているかを調べます。
• 生成内容の持続性：初期入力では見えていない領域を探索中に生成させ、後で再訪します。最初に観察した結果との比較によって、モデルが自分で作った内容を保持できるかを検証します。
• 3D自己整合性：視点間の深度と特徴の対応、領域のスケール一致、保持しておいたガウス表現からのレンダリングを評価します。異なる視点が本当に同じ3Dシーンを表しているかを確認するためです。
• 長期安定性：短い視点移動だけでなく、数分にわたる探索と再訪も行い、時間の経過に伴う空間記憶の誤りや構造のずれを捉えます。

データ構築には公開データセット、研究者が撮影したシーン、シミュレーション環境が組み合わされています。屋内外を含む720インスタンスと、6種類の探索・再訪プロトコルが用意されています。さらに、ネイティブインターフェース用のアダプターを通じて、テキスト、アクション、カメラで条件付けされた27モデルを評価します。提供された素材はベンチマーク設計を中心としており、詳細なモデル順位を示すものではありません。そのため、Orbiaは単純なランキングよりも診断のための基盤と見るのが適切です。

意義と影響

Orbiaの重要性は、「動画が一貫している」という曖昧な印象を、検証可能な3Dの問題へ分解した点にあります。ロボット、具身AI、仮想環境、シミュレーションで利用される世界モデルには、もっともらしい次フレームを生成するだけでなく、物体の位置や領域同士のつながりを維持し、過去に構築した世界へ再びアクセスする能力が求められます。

また、画質と世界モデル能力は別の目標であることも示されます。よりリアルなテクスチャだけでは、信頼できる空間記憶は得られません。入力の保存、生成内容の維持、3D自己整合性を分けて測定するOrbiaは、モデルの失敗箇所を特定し、より持続的で信頼できるインタラクティブ動画世界を開発するための評価軸を提供します。

出典：Hugging Face Daily Papers