HuGe、人間の一人称経験で汎用的なヒューマノイドVLAを訓練

導入

ヒューマノイドロボットに指示を実行させるには、物体や言葉を理解するだけでは不十分です。脚、胴体、腕、手を連携させ、安定性を保ちながら移動と操作を同時に行う必要があります。そのための実演データを実機で大量に集めるには、時間とコストがかかります。一方、人間が装着したカメラによる一人称データは比較的豊富ですが、人間とロボットでは見える身体や運動構造が異なり、ロボットに必要な関節状態などの固有感覚情報も欠けています。

HuGe（Humanoid Generalist）は、この差を越えることを狙った視覚・言語・行動モデルです。人間の一人称データとロボットデータを合わせて2,000時間以上で事前学習し、汎用的な経験を特定のヒューマノイドへ移す仕組みを組み込んでいます。

主なポイント

• 潜在モーションによる制御：関節指令を直接出すのではなく、事前学習済みの全身コントローラが利用する潜在モーショントークンを予測します。手の制御信号も別に扱い、高レベルの判断と低レベルの協調を分離します。
• 三段階の学習：一人称事前学習、ヒューマノイド適応、下流タスク微調整を順に行い、一般的な行動経験から機体固有の制約、タスク固有の要求へと学習を進めます。
• 疑似固有感覚の構成：人間の映像にないロボットの状態情報を補うため、シミュレーション上で動作を再生し、事前学習中に疑似的な固有感覚状態を作ります。
• 見た目の差を調整：下流微調整では、一人称映像に映る腕の外観を再レンダリングで変更し、対象ロボットの身体に近い視覚入力を作ります。
• 複数のVLA構成に対応：Qwen3-VL-2B-Instructを用いたOFT、GR00T、Pi系の実装が提供され、単一のアーキテクチャに依存しない構成を示しています。

意義と影響

HuGeの重要性は、人間データの量とロボットデータの身体的な対応関係を組み合わせようとした点にあります。一人称データは多様な作業や動作の先行知識を提供し、適応段階はそれを特定の機体で実行可能な表現へ変換します。うまく機能すれば、タスクやロボットごとに大量の実機データを一から集める負担を減らせます。

提供された素材によれば、HuGeはHumanoidArenaシミュレーションベンチマークで最高水準の結果を達成しました。また、Unitree G1を用いた実験では、視覚的に適応した一人称デモをロボットデモに加えることで、pick-and-dropタスクの成功が向上しました。ただし、素材には具体的なスコア、比較手法、失敗例が記載されていません。そのため、現時点では幅広い環境での保証ではなく、転移の有効性を示す報告として捉えるのが適切です。

HuGeは、人間の映像を単なる視覚事前学習の素材ではなく、ロボットが実行可能な行動経験として活用する方向性を示します。今後は、身体の違いに対する状態推定、器用な手操作、長い手順を安定して実行する能力が、実環境への展開を左右するでしょう。

出典：Hugging Face Daily Papers