NEO-VLA、変化する視覚表現からロボットの動作を生成

導入

視覚言語動作（VLA）モデルは、一般に三段階の構成を取る。まず視覚エンコーダーが画像を圧縮し、次に言語モデルが指示と視覚情報を組み合わせ、最後に動作モジュールがロボットの制御信号を出力する。この構成は既存の視覚言語モデルを再利用しやすい反面、物体の境界、局所的な形状、奥行き、操作中のわずかな状態変化といった、ロボットにとって重要な情報を失う可能性がある。

論文「From Pixels to Actions - Towards Native Vision-Language-Action Policies」は、この固定的な視覚インターフェースを見直すNEO-VLAを提案した。

主なポイント

• 固定された視覚の終点を設けない。 NEO-VLAでは、画像を軽量なパッチ畳み込み層でトークン化するが、独立した視覚エンコーダーの最終特徴だけを動作方策に渡す構成は採用しない。画像トークンと言語トークンは、バックボーンの中で共同して変化する。
• 複数の深さの表現を動作に利用する。 フローマッチング型の動作エキスパートは、指示によって条件付けられた異なる層の視覚表現を参照できる。動作方策が、抽象度の高い最終層だけに依存する必要がなくなる。
• 重要なのは単純なエンコーダー除去ではない。 比較実験では、ネイティブな構成がエンコーダー型の構成を上回った。完全なファインチューニングで差は縮まるものの、なくなるわけではない。また、モデルを大きくするだけでも同じ優位性は得られなかった。
• 動作に有効な情報は中間層で強くなる場合がある。 層ごとの分析から、制御に重要な視覚信号は最終表現より前にピークを迎えることが示された。操作タスクでは、深い表現が常に最適とは限らない。

意義と限界

NEO-VLAの意義は、視覚エンコーダーを取り除いたことだけではない。知覚と制御の接続方法そのものを変更した点にある。物体認識や画像説明向けに最適化された表現は、「何が見えているか」を説明するには適していても、「次にどこへ動くべきか」を決めるとは限らない。ロボットには高レベルの意味理解に加え、変化し続ける空間関係や状態情報が必要である。

NEO-VLAは、さまざまな操作環境や視覚分布の変化に対して、より強く安定した制御を示した。一方で、空間配置やタスク目標の変化は依然として難しい。中間表現へのアクセスだけで汎化問題が解決するわけではなく、空間推論、目標理解、柔軟な制御の改善も必要になる。

この研究は、VLAの設計課題を「視覚をどう圧縮するか」から「視覚計算のどの段階を動作に残すべきか」へと広げる。具身知能では、知覚と制御を完全に分離するより、複数の計算層で協調させることが重要になるかもしれない。

出典：Hugging Face Daily Papers