PAIR、視覚言語行動モデルの知覚と行動をつなぐ

導入

視覚言語行動モデル（VLA）は、画像と指示を理解するだけでは不十分だ。現在の観測を読み取り、指示の意味を捉え、それを連続的なロボット制御信号へ変換しなければならない。多くの連続動作VLAでは、知覚表現から行動表現への移行は暗黙的であり、主に最終的な動作予測損失によって学習される。PAIRは、この間にある変換を明示的にモデル化する。

PAIRの仕組み

PAIRは、単純な動作予測ヘッドを追加するのではなく、知覚空間と動作空間の間に共有表現を学習する。訓練時にはMasked Action Autoencoderが専門家の動作チャンクを符号化し、時間範囲に対応したAction Latent Tokensを作る。これにより、動作列は単なる連続値の回帰対象ではなく、知覚特徴と対応付けられる構造化された潜在表現になる。

次にBridge Moduleが、現在の視覚・言語表現からタスクに関係する特徴を取り出す。それらをAction Latent Tokensと整合させることで、Bridge Tokensを生成する。Bridge Tokensは、シーンや指示に含まれるタスク情報を保持すると同時に、専門家動作の構造も捉えることを狙う。これを動作トークン空間へ投影し、初期Action Tokensに注入することで、Action Expertはより行動に適した初期状態から軌道を洗練できる。

推論時には動作オートエンコーダを取り除き、Bridge Tokensは現在の観測と指示だけから生成される。したがって、実運用時に利用できない専門家動作を必要としない。

報告された結果

PAIRはLIBERO、LIBERO-Plus、CALVIN ABC-Dで評価され、OpenVLA-OFTおよびVLA-Adapterへの適用結果が示されている。提供された概要による主な結果は次の通りだ。

• LIBERO-Plusでは、VLA-Adapterの成功率が59.1%から64.2%へ上昇した。
• CALVINでは、平均完了シーケンス長が4.42から4.53へ伸びた。
• さらに7つの実世界タスクで改善が報告されているが、提供資料には各タスクの完全な数値は含まれていない。

意義と残る論点

PAIRが示す重要な視点は、VLAのボトルネックが視覚理解や動作デコーディングだけにあるとは限らないということだ。両者の間に、タスクの意味と専門家動作の構造を同時に持つ表現を置くことで、軌道生成の前により明確な制御情報を与えられる可能性がある。

一方、現時点の素材だけでは、性能向上がAction Latent Tokens、特徴量の整合、初期トークンへの注入のどれに最も強く由来するかは判断できない。計算コストや一般化性能についても、追加の消融実験が必要だ。今後は、知覚から制御への明示的なインターフェースが、異なるロボットやタスクでも有効かを検証することが重要になる。

Source: Hugging Face Daily Papers