Open-HumanScale、5万時間の人間映像で具現知能を拡張

ロボットに操作技能を学習させるには大量のデモンストレーションが必要だが、ロボット自身で高品質なデータを収集するには大きなコストがかかる。一方、人間の一人称視点映像は豊富であるものの、そのままロボットが実行できる行動系列を表しているわけではない。Open-HumanScaleは、この隔たりを埋めるため、人間の経験を具現知能モデルの事前学習に利用する公開レシピを提案する。

中心となるのは、5万時間規模のOpen-HumanScale-50Kコーパスだ。映像はキュレーションされ、手の動きと自然言語による注釈が付与されている。研究チームは、単に映像時間を増やすだけでは十分ではなく、データの選別、多様性、注釈、訓練手順がロボット方策の汎化を左右すると位置づけている。

主なポイント

• 人間映像のスケーリング効果を検証。 閉ループのシミュレーション評価により、事前学習時間と下流ロボット性能の関係を調べた。結果は経験的な対数線形の傾向を示し、環境や行動の多様性が高いほどデータ拡張の効果が強くなる。また、人間映像による事前学習はロボットデモからの学習効率も高める。
• HumanWAM-Vanillaは人間経験に焦点を当てる。 5万時間の人間映像だけで事前学習し、その後ロボットデータで追加学習する世界・行動モデルである。RoboTwin 2.0ではClean2Cleanが92.08%、Clean2Randomが68.88%となり、RoboDojoでは平均成功率14.17%、平均進捗スコア19.00を記録した。
• HumanWAM-Goalは人間とロボットを統合。 ロボット経験を加え、視覚目標によって行動を条件付ける。追加学習後、RoboTwin 2.0のClean2Cleanで92.70%、Clean2Randomで84.60%、両設定の平均で88.65%に達した。
• 未知の目標への適応を狙う。 発表内容によれば、モデルはシミュレーションと実機の双方で、パラメータをタスクごとに更新せず、未知の視覚目標に応じて操作行動を変えられる。

この研究の意義は、大規模な映像データセットを公開したことだけではない。人間の経験から何がロボットへ移転するのか、ロボットデータをどの段階で加えるべきか、そして視覚目標がタスク間の移転をどう支えるのかを、再現可能な構成で検討できるようにした点にある。一人称映像は特定のロボットの実行軌道を直接与えないが、手と物体の接触、操作の流れ、作業の構造といった有用な事前知識を含み得る。

チームはコーパス、データ処理・事前学習パイプライン、チェックポイント、推論コード、シミュレーション評価スイートを公開している。文書やアップロードは更新中のため、利用者は実際の設定を確認する必要がある。それでもOpen-HumanScaleは、人間経験とロボット経験をどのように組み合わせれば具現知能を拡張できるかを調べるための、比較的まとまった公開基盤となっている。

出典：Hugging Face Daily Papers