VFlash、並列デコードでロボットの視覚計画を高速化

ロボットや自動運転などのPhysical AIにとって、計画を必ずしも言語で表現する必要はない。目標点、バウンディングボックス、将来の軌道は、物体がどこにあり、どの方向へ動くべきかを直接表現できる。ところが、視覚言語モデルがこれらを自己回帰的に生成する場合、座標を通常ひとつずつトークンとして出力する。計画が長くなったり、2Dから3Dへ拡張されたりすると、デコードのコストは増えやすい。

NVIDIAに関連する研究者らが提案したVFlashは、この問題をFlash Primitive Decodingという方法で扱う。各座標を独立した次トークンとして扱うのではなく、視覚プリミティブが持つ既知の構造を利用する。軽量なdrafterが1回のフォワードパスでプリミティブ全体を生成し、出力レイアウトはプリミティブの種類、次元数、長さに合わせて調整される。

主なポイント

• 座標をまとめて予測：点、ボックス、軌道を単なるトークン列ではなく、組織化された空間オブジェクトとして扱う。
• 異なる出力形式に対応：短いボックスと、長く可変長の軌道では必要な構造が異なるため、同一のレイアウトに固定しない。
• トークン列の完全一致を要求しない：アノテーション付きプリミティブで学習し、自己回帰モデルの教師出力と同じ順序を再現しなくても、構造的に有効な予測を受け入れる。
• 速度と精度を両立：提供された概要では、評価した2D・3Dロボット軌道タスクで予測誤差を継続的に低減し、3D点運動予測の初期的な単一rollout測定で約25倍の高速化を示した。

この設計の背景には、空間計画では特定のトークン順序を再現することより、座標が正しい幾何構造を形成し、下流タスクで利用できることの方が重要だという考えがある。VFlashは、系列模倣の一部を「構造を満たし、空間的に妥当な結果を出すこと」へ移すことで、繰り返し発生する座標ごとのデコードを減らす。

さらに、VFlashの計画を条件として受け取るworld action modelも評価された。4つのMolmoSpacesタスクスイートにおける平均成功率は70.2%で、ベースラインの62.6%を上回った。ただし、約25倍という数値はあくまで初期的な単一rolloutの測定として示されている。すべての実運用環境で同じエンドツーエンド高速化が得られると解釈するべきではない。

意義と影響

VFlashは、完全な自己回帰生成と、構造を持たない連続値回帰の中間に位置するアプローチといえる。視覚言語モデルによるシーン理解を保ちながら、規則的な空間出力をより並列的な専用デコーダーに委ねる。頻繁な再計画が必要なロボットでは、点や軌道の予測遅延を抑えることで、より豊かな視覚計画を利用しやすくなる可能性がある。

また、学習目標の変更も重要だ。教師モデルのトークン順序と完全に一致しなくても有効な幾何結果を認めるなら、今後の視覚計画モデルは系列一致より空間誤差やタスクでの有用性に重点を置ける。より多様なロボット、強い遮蔽、完全な閉ループ制御でも優位性が維持されるかは、今後の検証課題である。

出典：Hugging Face Daily Papers