Ropedia W0、人間の経験で異なる身体をまたぐ運動・操作世界モデルを拡張

概要

身体を持つエージェントには、観測から行動を選ぶ能力だけでなく、その行動によって視界や姿勢、物体の状態がどう変わるかを予測する能力が必要になる。Ropedia W0は、この予測を担う一人称視点の世界基盤モデルであり、移動と操作を別々に学習するのではなく、両者を一つの枠組みで扱うことを目指している。

主なポイント

• 異なる身体をつなぐ共通表現。 ロボットは関節数、形状、可動範囲、アクション空間がそれぞれ異なるため、行動ラベルをそのまま共有するのは難しい。Ropedia W0では、移動をカメラ姿勢、操作を投影された運動学的骨格で表現する。ロボットの骨格には、機体ごとの順運動学に加え、手作業によるキーポイント注釈と修正を利用している。
• 大規模な人間経験の活用。 Xp-Dataには約1万時間の人間一人称映像と約3000時間のロボットデータが含まれる。メートル単位のカメラ軌跡、運動学的骨格、階層的キャプションなどを統合し、データ品質の管理も行った。
• 移動と操作を同時に評価。 物体に手を伸ばす動きだけでなく、対象への接近、視点の調整、全身の協調を長時間にわたって理解する必要がある。研究チームは、巧緻な人型ロボットの遠隔操作データを用いた長時間ベンチマーク、Xp-Teleopも提案している。
• 予測からインタラクションへ。 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBotの5つのクロス・エンボディメント評価で、ゼロショット、少数ショット、全データによる追加学習を含む結果を報告している。蒸留後は、数分間に及ぶリアルタイムのロールアウトとライブVR操作にも対応するとされる。

意義と課題

この研究の重要性は、目標ロボットが収集したデータだけで世界モデルを学習する必要があるのか、という前提を問い直している点にある。人間の映像は量と行動の多様性に優れる一方、ロボットとは視点、物理特性、実行可能な動作が異なる。カメラ運動と身体形状を共通の幾何学的インターフェースに置くことで、環境変化や行動の規則性を共有しつつ、実行部分は各身体に合わせて扱う設計だ。

人間の事前学習データを増やすと、人間映像だけでなくロボット評価も改善したという結果は、人間経験を高価なロボットデータの補完として使える可能性を示す。ただし、これは直接的な制御性能を保証するものではない。遮蔽、接触ダイナミクス、機体固有の制約、長期予測誤差は依然として課題である。Ropedia W0は、知覚・予測・計画を結ぶ基盤として、方策評価やモデルベース計画、世界モデルと行動モデルの統合に応用できる。今後は、より多様な身体と複雑なタスクでも共通表現が安定し、安全で検証可能な動作へ結び付くかが焦点になる。

出典：Hugging Face Daily Papers