RoboValue、ロボット価値モデルを細粒度に評価する基準を提案

ロボットのタスク実行を評価する際、最後に成功したかどうかだけを見るのでは不十分です。実行の途中で現在の状態を正しく把握し、目標に近づいているかを判断し、失敗が起きた場合には、その後の動作が本当に回復につながっているかを見極める必要があります。こうしたフィードバックを提供するのがロボット価値モデルです。

価値モデルは、方策学習や実行監視に利用できます。しかし、既存の評価が一部の能力や最終的な結果に偏ると、途中の判断に含まれる誤りを見逃す可能性があります。RoboValueはこの問題に対し、シミュレーションと実世界を共通の枠組みで評価する細粒度ベンチマークを提案しました。

4つの能力を分けて検証

RoboValueは、価値モデルを次の4つの観点から評価します。

• タスク状態の理解：画像観測と指示から、現在どの状態にあるかを判断できるか。
• 時間的な進捗監視：実行履歴を踏まえ、作業が進んでいるのか、停滞しているのか、目標から外れているのかを区別できるか。
• 失敗と回復の推論：失敗の影響を認識し、後続の動作が有効な回復になっているかを評価できるか。
• 価値の一貫性：指示の表現や有効な実行順序が変わっても、判断が妥当な範囲で一貫しているか。

診断用の軌跡や指示のバリエーションを用いることで、モデルが各時点でタスク要件をどの程度反映しているかを調べます。これは、単に「成功したか」を問うのではなく、「なぜこの行動に価値があるのか」を評価する設計です。

シミュレーションと実世界を収録

RoboValue-Datasetには、15件のシミュレーション操作タスクと20件の実世界操作タスクが含まれます。学習用の専門家デモに加え、細粒度評価のための注釈付き軌跡も提供されます。さらに、Full-ShotとOne-Shotの学習サブセットがLeRobot v3.0形式で公開されており、既存のロボティクス環境に取り込みやすい構成です。

評価ではZero-ShotとOne-Shotの条件が用いられ、ロボットの身体構成が変わる場合と、環境が変わる場合のシフトも分けて検討されます。これにより、モデルがタスクを理解していないのか、それとも新しい身体や場面への適応に失敗しているのかを切り分けやすくなります。

見えてきた弱点

報告された結果によると、最終結果や前向きな進捗の評価が良好なモデルでも、細かな指示との対応付け、過去の出来事に依存する進捗追跡、失敗後の回復評価で誤りが残ります。また、意味的には同じサブタスクでも、有効な実行順序が違うと得られる価値の増分が大きく変わる場合があります。

この問題は、価値モデルが行動の見た目だけでなく、タスク全体における意味や文脈を安定して捉える必要があることを示します。RoboValueは、モデルを順位付けするだけでなく、どの種類の価値監督が不足しているかを診断する道具としても役立ちます。実運用のテストを置き換えるものではありませんが、最終成功率から実行過程の信頼性へと評価軸を広げる点で、ロボット学習研究に具体的な課題を提示しています。

出典：Hugging Face Daily Papers