人の手の器用さをロボットへ：Morphometric Imitationが動作転写からゼロショット実機制御までを接続

導入

人間の手と物体の相互作用には、把持、回転、押下、多指協調など、器用な操作に必要な情報が含まれている。そのため、人間の動作はロボットハンドを学習させるための有力なデータ源になる。しかし、人間の手の動きをそのままロボットへ転写することは難しい。指の長さ、関節構造、可動範囲、力学的な能力が異なるためである。姿勢が似ていても、物体との接触が失われたり、ロボットが実行できない軌道になったりする。

UCバークレーなどの研究者が提案したMorphometric Imitationは、この問題を形態適応、動力学的な修正、ポリシー学習の3段階に分けて扱う。

手法の要点

• 手の形態に応じた動作転写。 第1段階の形態計測最適化（MMO）は、人間の動きを異なるロボットハンドへ写像する。単に関節軌道を合わせるのではなく、人間の実演に含まれる指と物体の接触関係を維持することを重視する。これにより、見た目の姿勢は似ていても把持が成立しない問題を抑える。
• 残差強化学習による修正。 運動学的な転写だけでは、ロボットが軌道を実際に追従できるとは限らない。第2段階では、運動学的な参照軌道に対して残差強化学習を適用し、人間の動作から得た物体姿勢と接触情報を利用して動作を調整する。
• 視覚運動ポリシーへの蒸留。 第3段階では、修正済みのロボットデモンストレーションを視覚運動ポリシーへ蒸留する。実機での実行時に、人間の動作を完全に再構成する必要をなくすことが狙いだ。

実験結果

本研究では、3種類のロボットハンドと10種類の人間—物体相互作用タスクを評価した。5つのベースラインのうち最も強い手法と比較すると、MMOはすべてのロボットハンドで接触F1を少なくとも8ポイント改善した。また、その後の動力学的な動作転写の成功率は最大35ポイント向上した。残差強化学習のアブレーションでは、物体姿勢と接触情報が補完的な効果を持つことも示された。

視覚運動ポリシーは、30個の物体を対象とする実環境300試行で検証され、ゼロショット成功率89.3%を達成した。ここでのゼロショットは、実環境の対象物に対して追加のタスク固有学習を行わずに展開したことを意味する。人間の実演をそのまま使うのではなく、接触と動力学の観点から修正してから学習へ渡す構成が、シミュレーションから実機への橋渡しに役立つ可能性を示している。

意義と今後の課題

この研究のポイントは、姿勢の一致だけでなく、接触の維持と実行可能性を同じデータ変換の流れに組み込んだ点にある。接触関係は操作の成否を左右し、動力学的な修正はその軌道をロボットが実行できるかどうかを左右する。両者を組み合わせることで、人間のデモ、シミュレーション、実機制御の間の隔たりを縮めようとしている。

一方、提供された資料だけでは、さらに多様なハンド形状、強い遮蔽、長時間の複雑な操作への汎化性能までは判断できない。視覚認識の誤差や接触推定の品質にどの程度影響されるかも、今後の検証課題となる。

出典：Hugging Face Daily Papers