RynnVLA-Latent、3D潜在アクションでロボットVLAを拡張

背景

視覚・言語・行動（VLA）モデルをロボット操作へ応用する際、大きな課題となるのがデータの不足とロボットごとの制御空間の違いだ。高品質なロボット操作デモは収集にコストがかかるうえ、人間の映像や別のロボットの軌跡をそのまま利用しても、関節構成やアクチュエータが異なるため、行動ラベルを直接共有できない。

RynnVLA-Latentは、この問題を潜在アクションという中間表現で扱う。映像に特定ロボットのモーター指令が付いていなくても、観測の前後で物体や環境がどのように動いたかを学習し、その変化を別のロボットにも利用できる形にする考え方だ。

手法のポイント

• 3Dに基づく潜在アクション。 RynnLAMは残差による未来特徴予測、カメラ運動を補償した3Dフロー監督、カメラ運動の分離を組み合わせる。これにより、単なる見た目の変化ではなく、制御に関係する運動を表現することを狙う。
• 異種映像の大規模利用。 人間、ロボット、シミュレーションの映像を合わせた30.1K時間のデータから、7億4552万個の潜在アクション記述子を生成した。元データが同じロボットの制御形式を持っている必要はない。
• 本体ごとの適応。 RynnVLA-Latentは視覚観測と言語から潜在アクションのチャンクをフローマッチングで予測する。その後、事前学習済みのバックボーンとアクションエキスパートを適応させ、対象ロボット固有の行動空間へ変換する。

結果

4BポリシーはLIBEROで98.8%、LIBERO-Plusでベンチマーク固有の適応なしに84.7%の成功率を示した。VLABenchの5トラック平均は51.9%、両腕操作を評価するRoboTwin 2.0では88.6%だった。さらに、器用なハンドとモバイルグリッパーを含む6つの実世界操作タスクを評価し、比較対象の中で最も高い観測成功率を得たと報告している。凍結表現を用いたプローブ実験とデータ規模の分析も行い、潜在表現の制御予測性と、事前学習データを増やした際の改善を検証した。

意義

この研究の意義は、映像を単なる視覚的な事前学習データではなく、制御に関係する状態遷移の教師として扱った点にある。3Dの潜在アクションは、人間の行動、シミュレーション、複数のロボット本体をつなぐ共通言語になり得る。

この方式が幅広いタスクとハードウェアで機能すれば、ロボット固有のデモ収集への依存を減らし、VLAの大規模事前学習を進めやすくする可能性がある。一方、最終的に潜在アクションを細かなネイティブ制御へ変換する精度は、本体適応の設計に大きく左右される。結果は、提示されたベンチマークと適応手順の範囲で解釈する必要がある。

出典：Hugging Face Daily Papers