WorldLine、ロボットの動作を先に視覚世界で検証

導入

ロボットが物体をつかむ、押す、置くといった操作を学ぶには、通常、多数の実環境インタラクションが必要になる。試行のたびに時間やハードウェアの稼働を消費し、場合によっては人手による確認も必要だ。そこで、実行前に「この動作をするとシーンがどう変わるか」を予測できるビジュアルシミュレーターがあれば、候補となる方策を先に絞り込める。

一方、既存の動画生成モデルは、見た目の自然さを優先する傾向がある。映像としてはもっともらしくても、指定したロボット動作に正確に従わなかったり、ロボットと物体の因果的な相互作用を維持できなかったりする。香港科技大学の研究チームが提案したWorldLineは、この問題を行動駆動型の視覚シミュレーションとして扱う。

主な仕組み

WorldLineの特徴は、二つの学習課題を分離することにある。まず大量のロボット動画から、特定の機体に依存しにくい操作ダイナミクスを学ぶ。その後、異なるロボットの制御信号が、その共通ダイナミクスをどのように動かすかを学習する。これにより、制御空間が異なるロボットのデータを共有しやすくする狙いがある。

• 行動ラベルなし動画の活用。 1万時間を超えるロボット動画から、ロボットの動き、シーンの変化、物体との接触に関する視覚的規則を学ぶ。
• 軌跡による制御の接地。 10種類以上のロボット形態からなる2000時間超の行動軌跡を使い、具体的な制御と共有モデルを結びつける。
• 画像空間の行動表現。 ロボットごとに異なる制御インターフェースの間に、共通の視覚的な接続面を設ける。
• 相互作用を重視した訓練。 多視点データ、失敗軌跡、関係正則化を用い、単なるフレームの美しさではなく、ロボットと物体の関係を保つ。
• 少ステップ蒸留。 ロボット動作に焦点を当てた蒸留で、因果的なロールアウトを効率化しつつ、行動結果に重要な動きを残す。

結果と意義

留保データおよびドメイン外の設定で、WorldLineは視覚品質とロボット運動の一致度を評価した。失敗軌跡では、最も強いベースラインに対してロボットマスクIoUが0.1626向上した。RoboTwinとAgiBotにおける軌跡成功予測の平均精度は74%で、最強ベースラインを1ポイント上回る。また、RoboTwinでの訓練や適応を行わなくても、WorldLineのロールアウトを使った評価では、方策をそのまま実行する場合と比べてタスク成功率が最大21.4ポイント改善した。

重要なのは、生成動画を単なる見栄えのよい予測ではなく、方策評価の手段として位置づけている点だ。ロボットは実行前に複数の候補動作を比較し、失敗しそうな行動を避けられる可能性がある。さらに、ダイナミクス学習と制御接地の分離は、異なるロボット間で動画データを再利用する方向性を示す。

ただし、報告された数値は論文で用いられたベンチマークと設定に基づく。現実環境とのギャップがなくなるわけではなく、実運用では安全機構と物理的な検証が必要だ。それでもWorldLineは、実機の試行錯誤を減らし、方策選別や具身計画を支援するスケーラブルな視覚シミュレーターへの一つの道筋を示している。

出典：Hugging Face Daily Papers