RoboTok、インターネット動画から器用なロボット操作の示範を検索

導入

器用なロボット操作を学習させるには、物体や環境、操作の仕方が異なる多様な示範が必要です。しかし、ロボットを使ったデータ収集は高価で、研究室で用意できるタスクにも限界があります。現実世界に存在する珍しい操作や長尾のケースを十分に集めることは特に難しい課題です。RoboTokは、インターネット上の動画を単なる視覚素材ではなく、検索可能な人間操作のデータ源として活用しようとします。

仕組みの要点

入力するのは、人間が操作を行う一本の動画です。RoboTokはその動画を手がかりに、似た操作を含むウェブ動画を検索します。重要なのは、画面全体の見た目よりも、手の動きの構造を中心に比較する点です。

• 動画から3Dの手の軌跡を推定する。
• 軌跡を行為者中心の基準座標系で表し、カメラの向きやシーン全体の違いの影響を抑える。
• 手の姿勢と軌跡から、比較や検索に適したコンパクトな潜在運動空間を学習する。
• その表現を動画コレクションに索引化し、新しい動画が追加された場合も継続的に検索できるようにする。

同じ「つかむ」「回す」「置く」という行為でも、撮影角度や背景、物体の見た目が変われば、画素レベルの映像は大きく異なります。一方、手の空間的・時間的な変化には共通する特徴が残る可能性があります。RoboTokはこの特徴を利用して、無関係な外観情報による検索のずれを減らそうとしています。部分的な遮蔽がある場合にも、手の軌跡は有用な手がかりになり得ます。

意義と限界

提供された素材によれば、RoboTokは検索ベンチマークとロボット方策の下流評価で検証され、既存のロボットデータ検索手法より関連性の高い操作示範を取得し、タスク成功率も改善しました。意義は、新しい動画検索手法にとどまらず、「インターネット上の人間動画」「運動表現」「ロボット学習」をつなぐデータ経路を示したことにあります。

ただし、人間の動画がそのままロボットの教師データになるわけではありません。身体構造、視点、センサー、制御方法、実行可能な動作には人間とロボットの差があります。検索された動画は、品質確認、動作区間の切り出し、異なる身体への対応付けなどを経る必要があります。RoboTokの主な貢献は、利用候補となる示範を大規模に発見しやすくする点です。

コード、データ、モデルが公開されているため、今後は異なるタスクやロボットでの再検証が可能です。姿勢推定や身体間の動作変換がさらに進めば、動画検索は具身AIの継続的なデータ供給基盤の一部になるかもしれません。

出典：Hugging Face Daily Papers