H2RB、人間の実演をロボットVLAへ橋渡し

導入

ロボットに新しい操作技能を学習させる際、コストの大きな部分を占めるのは対象ロボット専用の実演データ収集です。人間なら物体をつかんで移動させる操作を容易に示せますが、腕や手の自由度、カメラ視点、制御方式はロボットと異なります。そのため、人間の軌跡をそのままロボットの指令へ変換することは困難です。

H2RB（Human-To-Robot Bridge）は、この人間とロボットの身体的な隔たりを越え、事前学習済みの視覚・言語・行動モデル（VLA）を適応させる手法です。人間とロボットの実演が対応付けられていなくても利用でき、対象ロボットの実演をタスクごとに大量に集めることも前提としません。特徴は、観測表現と行動表現を別々に橋渡しする点にあります。

主な仕組み

• 幾何に基づく表現整合：手の幾何情報を手掛かりに、人間とロボットの観測を互換性の高い表現へ整えます。これにより、動作主体の違いよりも、手と物体、目標の空間的な関係に注目しやすくします。
• 分離型の行動デコード：分離されたデコーダを持つトークナイザにより、両ドメインは行動の潜在表現を共有しながら、最終的なデコード経路は分けます。人間の実演から行動上の監督を得つつ、ロボット固有の実行方式を維持できます。
• 人間・ロボットの共同学習：異なる種類の実演を同時に学習し、人間データの行動情報を取り込みながら、事前学習済みVLAの視覚・意味・制御に関する事前知識を活用します。

結果が示すこと

実環境タスクでは、物体移送の性能が8.0から51.8へ向上しました。人間が示した技能を移せなかった共同学習ベースラインに対し、技能移送のスコアは62.7に達しています。さらに物体の配置を変えた条件でも、分布外移送は6.0から45.3へ改善しました。

この結果は、身体の違いを一つの行動写像で無理に吸収するのではなく、共有可能な行動意図と、ロボット固有に残すべき実行情報を分けることの重要性を示します。

意義と今後の論点

H2RBは、ロボット学習のデータ収集を拡張する一つの道を示します。集めやすい人間の実演を行動監督として使い、事前学習モデルとロボット側のデータで実行可能性を支えるという構成です。これにより、タスクやロボットごとに大量の専用データを集める必要を減らせる可能性があります。

一方、提示された素材だけでは、具体的なタスク一覧、データ規模、ロボット構成、詳細なアブレーションは確認できません。実演の質への依存性や、異なるロボット形態への一般化は、論文全文での検証が必要です。

出典：Hugging Face Daily Papers