λ₀、人間の500時間データでヒューマノイドの移動操作を学習

ヒューマノイドが現実世界で作業するには、腕を動かすだけでは足りない。対象の近くまで歩き、姿勢を調整し、バランスを保ちながら、手と全身を連携させる必要がある。こうしたロボットの実演データは有用だが、収集には大きなコストがかかる。λ₀プロジェクトは、人間の行動をより大規模な学習信号として利用する方法を検討している。

主なポイント

• 全身の行動を収録。 HumanVerseは、オープンな環境での人間の移動操作を500時間収録し、第一人称映像と同期した身体・手の動きを組み合わせる。手先中心のデータでは抜けやすい歩行、姿勢変化、全身協調を保持している。
• 人間とロボットの差を補正。 人間とヒューマノイドでは身体比率、カメラ位置、動作の力学が異なる。そこで視点と腕の外観を整合し、動作参照と制御器への入力をオフラインで調整する。狙いは、全身の協調性を残しながら、エンドエフェクターの誤差を減らすことだ。
• 対象タスクのロボット実演を使わず検証。 Unitree G1を用い、代表的な全身操作と長距離の移動操作へゼロショット転移を行った。評価対象ごとのロボット実演を追加しない点が特徴である。
• データの拡大による改善を報告。 ロボットに合わせて整合した人間データを中間学習に利用し、全身移動操作向けの基盤モデルλ₀を構築した。全身データを増やすほど下流タスクの進展が一貫して改善し、SIMPLEで90.0%、実世界の移動操作タスク全体で62.5%の成功率に達したという。

意義と残る課題

この研究の意義は、単に映像を増やしたことではない。第一人称映像から環境と作業の文脈を、身体と手の動きから姿勢・歩行・協調の情報を取り出し、それらをロボットが実行しやすい形へ近づける流れを示した点にある。人間の動作をそのまま再生するのではなく、視点の整合と制御入力の修正を挟むことで、転移時の損失を抑えようとしている。

一方、人間データだけで身体差、接触時の力学、制御の安定性が解決するわけではない。今回の結果は、汎用能力の完成というより、ロボットデータが高価な状況で全身人間データを拡大する方針の検証と捉えるべきだろう。今後は、データの多様性、整合の精度、異なるロボットへの適応が重要になる。

出典：Hugging Face Daily Papers