PPMem、平面メモリで動画世界モデルの長期的な空間整合性を高める

導入

動画世界モデルが環境を長時間にわたって生成・探索するには、直前のフレームだけでなく、すでに観測した空間構造を保持する必要がある。カメラが移動したとき、壁や床の位置、部屋のつながり、建物の形状が記憶されていなければ、生成が進むほどレイアウトが変化し、異なる視点の映像同士が整合しなくなる可能性がある。

Robbyant ResearchのPPMemは、この問題に対して、平面プリミティブによる永続的な3Dメモリを提案する。画素ごとの点を大量に保存するのではなく、壁、床、天井、ファサードといったシーンの主要構造を、方向と位置を持つ平面として表現する。

手法の要点

PPMemは動画拡散Transformerを拡張し、平面予測ヘッドとDepth Token Fusion（DTF）モジュールを組み込む。自己回帰的に動画チャンクを生成する際、RGBフレームだけでなく、それに対応する平面形状も同時に予測する。新しく得た平面は既存のメモリと統合され、次のチャンクの生成では、そのメモリをレンダリングした深度がDTFを通じて条件として使われる。

• 構造を直接表す：平面プリミティブは、壁や床のような大きな面を少ない要素で表現できる。各プリミティブは7個のパラメータで記述される。
• 深度を介して生成へ戻す：平面メモリは単なる評価用の出力ではなく、レンダリング深度として後続の動画生成を拘束する。
• 生成中に更新する：新しい視点から得られた情報を既存の記憶に統合し、シーンの観測範囲が広がるにつれて形状を補正・精密化できる。
• 複数の幾何情報を得る：共有バックボーンでRGBと幾何を予測するため、メートルスケールの深度、表面法線、書き出し可能な平面形状も同時に扱える。

論文によれば、シーン全体のメモリは約10万個の平面プリミティブ、約5MBで構成でき、画素単位の点群より3桁小さいという。重要なのは容量だけではない。点の集合ではなく、位置・向き・面としての意味を持つ幾何表現である点に、この設計の特徴がある。

実験と意義

DL3DVとRealEstate10Kを用いた評価では、PPMemは従来の3D接地型世界モデルを動画品質で上回り、深度、法線、平面形状を同時に出力したと報告されている。また、大きな視点変化がある状況でも、数百フレームにわたる整合性を維持できるとしている。

この研究の意義は、世界モデルのメモリを単なる長いコンテキストではなく、参照・更新可能な幾何状態として扱った点にある。ナビゲーション、身体性エージェント、インタラクティブな環境生成では、同じ場所へ戻ったときに空間が変わらないことが重要であり、平面メモリはそのための軽量な基盤になり得る。

一方、平面は建築物のような構造には向くが、曲面や小物体、動的な要素を十分に表せるとは限らない。より複雑で変化する環境では、平面以外の表現をどのように組み合わせるかが今後の課題になる。

出典：Hugging Face Daily Papers