HuRo、人間動画をVLA事前学習向けのロボットデータへ変換

背景

視覚・言語・行動モデル（VLA）をロボット制御に利用するには、画像や指示だけでなく、観測と実際の行動を結び付ける軌跡が必要になる。しかし、実ロボットで多様なデータを収集するには大きなコストがかかり、対象物や環境の種類も限られやすい。一方、人間が撮影した操作動画は豊富だが、人間とロボットでは視点、身体構造、運動能力が異なるため、そのままではロボットの訓練データにならない。

HuRoは、人間動画をロボット向けの教師信号へ変換した場合、VLAの事前学習を大規模化できるかを検証した研究である。ポイントは、見え方の差だけでなく、行動の対応関係も同時に扱うことにある。

提案された仕組み

HuRoのロボット化パイプラインは、異なる形式の人間動画から、ロボットに対応した観測と行動軌跡を生成する。主な処理は次の通りだ。

• 視覚のロボット化：人間の一人称動画を、ロボットのカメラ視点や知覚形式に近い観測へ変換する。
• 動作リターゲティング：人間の操作の流れを、ロボットの行動軌跡として利用できる形に置き換える。
• 中間信号の推定：動画ごとに異なるアノテーションの不足を補い、複数の監督レベルに対応する。

この処理を用いて、5つの人間動画ソースから約63万件のロボット化エピソードと、1億4200万フレームを含むHuRoデータセットを構築した。単に人間動画を視覚データとして追加するのではなく、ロボットが扱える観測と行動へ近づけている点が特徴である。

実験結果

4つの実環境マニピュレーション課題で評価したところ、ロボット化データによる事前学習量を増やすと、全体の達成率は51.5%から80.3%へ上昇した。空間配置や見た目が変化する分布外条件でも、達成率は34.9%から72.2%へ改善した。これは、HuRoが既知の場面への適合だけでなく、環境の変化への対応にも寄与する可能性を示している。

アブレーションでは、視覚のロボット化が分布外での頑健性向上に有効だった。また、行動をリターゲティングしたうえで端到端に事前学習する方法は、視覚だけを移 transfer する方法を上回った。つまり、場面の見え方を揃えるだけでは不十分で、操作の進行そのものを学習信号に含めることが重要になる。

意義と課題

HuRoは、すべてのデータを実ロボットで収集する代わりに、人間動画からタスク構造、物体との相互作用、視覚的な多様性を学ばせる道筋を示した。実ロボットデータは、最終的な調整や実行可能性の確認に集中させられる可能性がある。

ただし、動画から推定した観測や軌跡の品質は依然として重要であり、ロボットの種類が変われば追加の適応も必要になる。したがってHuRoは、実ロボットデータを完全に置き換えるものではなく、それを補完する大規模な事前学習源と見るのが適切だ。観測と行動を一体として整合させれば、人間動画はロボットにとって有用な経験へ変えられることを示した点に、この研究の意義がある。

出典：Hugging Face Daily Papers