DONIC、人間の実演から両手の器用なロボット操作を学習

導入

人間の日常的な操作をロボットで再現するには、片手を器用に動かすだけでは不十分です。片手で物体を固定し、もう片方で回す、引く、開くといった作業では、両手が同じ物体を介して力と位置を協調させる必要があります。接触を維持しながら役割を切り替えるため、単一手の操作よりも学習の難度は大きく上がります。従来の器用な操作追跡研究は主に片手を対象としており、両手の接触データと協調学習の仕組みはまだ限られていました。

DONIC（Generalist Dexterous Bimanual Tracking Control from Human Demonstrations）は、この課題に取り組む汎用両手追跡ポリシーです。異なる操作カテゴリや人間動作のソースをまたいで学習し、2 台の Wuji 器用ロボットハンドを一つのポリシーで制御します。さらに、タスクごとの微調整を行わず、未知の軌道と物体への追跡を目指します。

主なポイント

• BiHOI が両手接触データを補う。 付属するマルチビューのデータセットは、229 個の物体を対象とする 1,575 シーケンス、合計 14.77 時間のインタラクションを含みます。短い接触ではなく、両手が物体に継続して関わる場面を重視し、再構成した人間の動作をロボット用の参照軌道へ変換します。
• 物体を中心に各手の役割を学習する。 DONIC の報酬は、物体中心の手ごとの構成になっています。物体の動きから両手に共通するタスク情報を与えつつ、各手は参照動作内の接触役割に応じて監督されます。これにより、両手が個別には目標を追えても、物体を介した協調に失敗する問題を抑えます。
• 参照動作間の偏りを抑える。 Clip-Centered Advantages は、各動作クリップを基準にアドバンテージを計算します。参照の違いによる不要なオフセットを除きながら、同一軌道内の相対的な差は維持します。異なるデモを一つのポリシーで扱うための学習信号を整える設計です。
• 成功した実行を再びデータにする。 近接方策最適化（PPO）と行動クローニングをフィードバックループで結合し、リプレイ検証を通過した成功実行を新しい訓練デモとして再利用します。初期の人間データを模倣するだけでなく、学習済みの安定した挙動を次の学習へ反映できます。

結果と意義

シミュレーションでは、DONIC の単一チェックポイントが、訓練対象物体の未知軌道で 86.79%、留保した未知物体で 57.32% の成功率を達成しました。いずれも追加の微調整なしの結果です。論文の比較では、DexTrack と Dexplore を両手向けに適応したベースラインを上回っています。BiHOI を追加すると、二つの留保分割における報告済み 7 指標すべてが改善し、成功率はそれぞれ 88.68% と 59.76% に上昇しました。

この研究の意義は、データセットを増やしたことだけにありません。持続的な接触を含むデータ、物体レベルで協調を表す報酬、成功実行を再利用する訓練ループを一体化した点にあります。開閉、搬送、組み立てのような接触の多い両手作業を、人間の実演から再利用可能なロボット方策へつなぐ設計として注目できます。

ただし、提示された成功率はシミュレーションの結果であり、実機展開についてのより広い結論は素材からは確認できません。センサーのノイズ、ハードウェア差、接触ダイナミクスの未モデル化は、実環境での転移に影響する可能性があります。それでも DONIC は、汎用的な両手器用操作には二つの片手制御器を並べるだけでなく、共有物体状態と相補的な接触役割を学習する仕組みが必要だと示しています。

出典：Hugging Face Daily Papers