L3G-World、潜在3Dガウスメモリでリアルタイム世界生成を実現

導入

インタラクティブなワールドモデルは、ユーザーの移動や操作に応じて映像を生成し続ける必要がある。しかし探索が長くなるほど、過去の場所との空間的な整合性を維持することは難しくなる。時間的コンテキストだけに依存する方法では、長い軌跡で情報が不足しやすい。一方、明示的な3Dメモリは生成ストリームの長さに応じて膨張する。さらに従来の方式では、3DメモリをいったんRGB画像としてレンダリングし、それをVAEで再エンコードして動画生成モデルに渡す必要があった。

KAISTの研究チームが提案するL3G-Worldは、この問題に対してLatent 3D Gaussian Memory、すなわち潜在3Dガウスメモリを導入する。3Dガウスでシーンの構造を表現するだけでなく、各ガウスにVAE潜在特徴も保持する点が特徴だ。これにより、メモリを動画拡散Transformer（DiT）が利用する潜在空間へ直接レンダリングできる。

主なポイント

• 探索範囲に応じて成長するメモリ：メモリアップデータは、新しく観測した領域にガウスを生成し、既存のガウスを改良する。メモリの規模は生成時間そのものではなく、主にシーンの広がりに応じて増える。
• RGB経由を省略：ガウスにVAE特徴を持たせることで、RGBレンダリングと再エンコードを避け、DiTの潜在空間へ直接情報を渡す。
• 2つの処理を交互に実行：メモリアップデータが記憶を拡張・更新し、DiTがその記憶とユーザー操作を条件に次の映像を生成する。これを自己回帰的に繰り返す。
• リアルタイム性：論文では最大9 FPSを報告している。各指標で最も効率的な既存3Dメモリ方式と比べ、3Dプリミティブ数は最大38.6分の1、メモリ更新は3.2倍、メモリレンダリングは359倍高速になったという。

意義と限界

L3G-Worldの意義は、単に3Dメモリを小さくしたことだけではない。長期的に保持したい空間情報と、動画生成モデルが必要とする潜在表現を同じ処理経路に置いた点にある。既 explored領域へ戻る、広いシーンを移動する、未観測領域を継続的に追加するといった世界モデルの用途で、フレーム数に比例したメモリ増加や重複した画像変換の負担を抑えられる可能性がある。

ただし、提供された素材では、シーンの種類、使用ハードウェア、より複雑な操作に対する性能までは示されていない。そのため9 FPSは論文の実験条件における結果であり、あらゆる環境で保証される速度とは解釈すべきではない。それでも、コンパクトな3D記憶を生成モデルの潜在空間へ直接接続する設計は、リアルタイム世界モデルの有力な方向性を示している。

出典：Hugging Face Daily Papers