HandsOn、器用なロボット操作の汎化能力を大規模に検証

導入

ロボットが一つのアームと一つの物体で動作できるだけでは、汎用的な操作能力とは言いにくいものです。本当に難しいのは、ロボットの本体、手、対象物、空間的な関係、そしてタスクの構成が変わっても、同じ技能を安定して使えるかどうかです。HandsOnは、この問題をより体系的に測定するためのシミュレーション基盤とベンチマークとして提案されました。

複数のロボットと物体を一つの環境で評価

HandsOnは、5種類のロボットアーム、6種類の器用なハンド、約200種類の剛体・関節物体・変形物体に対応します。さらに、LeRobot v2.1形式で整理された約1万8000件の人間によるデモンストレーションを備え、前方カメラと手首カメラの観測を同期して収録しています。これにより、研究者は単一のロボット構成に依存せず、視覚入力、行動表現、制御方式を比較できます。

収録された66個のタスクは、次の二つの評価群に分かれています。

• Core-50：デモンストレーションを用いた学習と、コアとなる操作タスクの実行を評価します。
• Transfer-16：対象物の転移、空間関係の転移、スキルの合成、変形物体の操作を評価します。評価対象となるタスクの学習デモは提供されません。

この分割によって、既知の分布を覚えたことと、未知の条件に技能を適用できることを区別できます。実運用では、訓練時とまったく同じ物体や配置、タスクの組み合わせに遭遇するとは限らないため、Transfer-16のような評価は重要です。

成績が示す操作の難しさ

論文では、拡散方策、視覚言語行動モデル、ワールド・アクションモデル、プロンプトで誘導した視覚言語モデル系の手法を比較しています。学習型マルチタスク方策の最高成功率はCore-50で29.1%でした。この数字は、器用な操作が物体認識やもっともらしい軌道生成だけでは解決できないことを示します。接触を作り、手のひらと指を協調させ、達成した状態を維持しなければなりません。

段階別の診断では、接触の確立、動作の協調、目標状態の維持が主要な失敗要因として現れます。複数スキルを組み合わせるタスクでは、各動作自体は妥当でも、実行順序を誤る問題が加わります。つまり、個々の局所動作を学習するだけでは不十分で、知覚、接触状態、制御、順序計画を閉ループで接続する必要があります。

また、ベンチマーク用の微調整を行わず、move_eefで手のひらと指を制御したGPT-6の試験も報告されています。660回の試行で、Core-50は5.2%、Transfer-16は1.9%でした。これはすべての視覚言語モデルに一般化できる値ではありませんが、高水準の推論能力と安定した物理インタラクションの間に大きな隔たりがあることを示す結果です。プロジェクトページには実ロボットでの定性的な試行も掲載されていますが、大規模な実環境検証と同一視するべきではありません。

意義と今後

HandsOnの意義は、固定された一つのタスクの成功率だけでなく、本体、物体、関係、変形、スキル合成を横断して方策を比較できる点にあります。さらに、失敗を接触、協調、目標維持、順序の問題に分解できるため、改善すべき箇所も明確になります。

今後は、接触ダイナミクスのモデル化、スキル合成のための階層制御、本体をまたぐ行動表現、変形と不確実性に対応する閉ループ方策が重要になるでしょう。公開されたコードとPhysXデータセットは、器用な操作の汎化がどこで破綻するのかを継続的に検証するための共通基盤になります。

出典：Hugging Face Daily Papers