Velox、空間メモリで動画ワールドモデルの生成を高速化

導入

動画ワールドモデルは、行動やカメラの動きから連続した映像を生成し、インタラクティブなシミュレーションを実現するためのインターフェースになりつつあります。一方、長いロールアウトでは、過去に生成した映像を参照し続けなければ、物体やシーンの配置、視点の変化に一貫性を保てません。分割型の動画拡散モデルは通常、履歴をKVキャッシュに蓄積しますが、キャッシュが伸びるほど後続チャンクのアテンション計算が重くなります。

論文「Velox: Spatial Memory Makes World Models Efficient」は、この問題に対して、モデルを再学習せずに履歴の読み出し方を変える手法を提案しています。Veloxは、現在の映像領域に関係する過去の記憶を選択する学習不要のアテンションルーターです。

手法のポイント

• 履歴を空間として表現：過去のブロックを単なる時系列ではなく、深度区間を持つカメラ視錐台のスラブとして表します。これにより、現在の視野と過去の領域を幾何的に対応付けられます。
• 現在の深度を推定：新しいブロックの深度は、直近の情報を優先するmultiwarpによって取得します。その結果と過去の視錐台スラブの重なりから、参照価値の高い領域を探します。
• 柔軟にルーティング：幾何的なカバーが十分な領域では、スラブの重なりを使ってモデルが算出したブロック重要度をソフトに調整します。対応が不十分な領域では、幾何的なバイアスを加えず、モデル本来のルートを維持します。
• 分割実行に対応：固定されたトークンブロック粒度を採用し、FlashAttention系のタイル実行と組み合わせやすくしています。視錐台スラブの構築はデノイズと非同期に、同じH200上で実行できます。

結果から読み取れること

提供された概要によると、48番目のチャンクでアテンションは4.36倍、デノイズ全体は2.43倍高速化されました。また、158ケースからなるWBenchのナビゲーション分割では、API-free平均スコアが密なアテンションを用いるLingBot-Fast-Camから0.15ポイント以内に収まっています。少なくとも報告された条件では、履歴の全面的な参照を減らしても、ナビゲーション性能を大きく損なわずに済むことを示しています。

Veloxの特徴は、記憶を別の圧縮形式に置き換えるのではなく、既存の記憶へアクセスする経路を空間情報で制御する点です。カメラが移動する生成では、時間的に近いフレームが常に重要とは限りません。より前のフレームでも、現在と同じ場所を写していれば有用な場合があります。空間対応をルーティングに使うことで、この違いを計算に反映できます。

意義と残る課題

学習不要で既存モデルに組み込みやすい点は、実用化に向けた利点です。また、固定ブロックとGPUのタイル実行を結び付けているため、アルゴリズム上の選択性を実際の推論効率につなげやすい設計になっています。

ただし、提示された結果だけで一般化を断定することはできません。手法はストリーミングジオメトリ、深度推定、視錐台間の対応に依存します。遮蔽が多い場面や幾何が不安定な場面では、空間ルートの利点が小さくなる可能性があります。概要で示されているのも、特定のナビゲーション評価とH200上の結果です。

Veloxは、長期生成の課題を「より多く記憶すること」ではなく、「必要な空間記憶をより速く探すこと」として捉え直しています。

出典：Hugging Face Daily Papers