VLA-Δ、ロボットに動作だけでなく物理状態の変化を学習させる

はじめに

視覚・言語・行動（VLA）モデルは、視覚と言語の事前学習で得た意味理解をロボット制御へ移転する手法として注目されている。自然言語の指示とカメラ画像から、実演データに基づいてロボットの行動を生成できるためだ。

一方で、多くのVLAは「現在の観測から、その時点で実演された行動を予測する」という形で学習される。これにより軌道を再現できても、タスクの途中で物体、グリッパー、接触状態がどのように変化するかを理解しているとは限らない。視覚的な入力と行動の表面的な対応に依存すれば、環境が少し変わっただけで制御が不安定になる可能性がある。

VLA-Δは、この問題に対して物理状態の遷移そのものを学習目標にする。現在の状態と未来の状態の差分を、行動生成に役立つ中間的な情報として明示的に扱う点が中心的な特徴だ。

手法のポイント

研究チームは、484時間、約2400万フレームからなる事前学習コーパスを構築した。さらに自動アノテーションパイプラインを用いて、タスクの進行、空間的な動き、接触状態の変化、物理的制約などを抽出する。

学習には主に次の三つの信号を組み合わせる。

• 構造化された遷移スロット：タスクに関係する状態変化を保持する表現。
• 密なオプティカルフロー：物体やロボット部品の視覚的な動きを捉える信号。
• 未来状態の差分テキスト：現在と未来の状態がどのように異なるかを言語で表す情報。

言語推論、画像予測、潜在空間での未来予測を補助的に使う既存の方向性に対し、VLA-Δは物理的な状態遷移を直接監督しようとする。事前学習後の下流ポリシーは、行動教師だけで学習できる。また、実行時に未来状態を別途デコードする必要はなく、現在の観測から行動を直接出力するため、推論時の追加処理を避けられる。

実験結果と読み方

論文によると、LIBEROでは98.40%の成功率を達成した。RoboTwin 2.0では、Clean設定で90.06%、Random設定で89.74%となっている。実ロボット実験では、π0.5を5.5%上回ったと報告されている。

これらの結果は、状態変化を表現として学習することが、シミュレーションと実機の双方で有効になり得ることを示す。ただし、自動生成された遷移アノテーションの品質、異なるロボット形態への転移、長期タスクや未知の接触イベントへの対応は、今後も検証が必要だ。数値を比較する際には、データ構成、タスク条件、訓練設定も合わせて見る必要がある。

意義

VLA-Δの重要性は、ロボット学習で何を教師信号にするかを広げた点にある。行動だけでなく、その行動によって物体や接触関係がどう変わるかを学習させることで、把持、押し出し、配置など、幾何と接触に依存する操作の理解を補える可能性がある。

また、この設計はVLAと世界モデル研究の中間に位置する。実行時に完全な未来予測を繰り返すのではなく、未来の変化を主に訓練時の信号として利用し、推論時は直接制御を維持する。性能だけでなく、遅延やシステム構成の簡素化が重視されるロボット応用にとって、検討に値する方向性だ。

出典：Hugging Face Daily Papers