ロボット方策のベンチマーク成功率は、方策の動きだけで決まるわけではありません。タスクを成功と判定する手書きコードも、スコアを左右します。しかし、専門家のデモを一度受け入れたからといって、判定器がタスクを正しく理解しているとは限りません。学習済み方策は途中で止まることもあれば、デモと異なる手順で指示を満たすこともあります。その結果、未完了なのに成功とされる「見かけの成功」や、指示を満たしているのに失敗とされる「見逃された成功」が起こり得ます。どちらも評価結果の解釈を誤らせる可能性があります。
論文が提案するSimAuditは、LLMを用いてタスク指示と判定コードの不一致を調べるパイプラインです。まず両者が食い違いそうな状況を洗い出し、シミュレーションで再現して、元の判定器を実行します。その後、複数視点のレンダリング画像を使い、動作が指示を満たしているかを確認します。著者らは視覚による確認を、欠陥候補を絞るための仕組みと位置付け、正解そのものとはしていません。また、報告した61件は2人の人手評価者がそれぞれ確認したと説明しています。その検証では、視覚確認が正しい判定を誤って覆した事例は見られなかったとのことですが、視覚モデルが常に正しいという主張ではありません。
主な結果:
- RoboTwin 2.0、RoboCasa365、RoboDojoで、183件のシミュレーションテストが予測された判定結果を示しました。
- 視覚確認と重複排除の後、49タスクにまたがる61件の異なる欠陥を特定。内訳は見かけの成功が40件、見逃された成功が21件でした。
- RoboCasa365では未完了の実行を受け入れる欠陥が多く、RoboDojoでは有効な実行を拒む欠陥が多く見つかりました。RoboTwin 2.0では両方がよく見られました。
この件数は、構築したテストケースで見つかった欠陥を示すもので、各ベンチマーク全体の誤判定率を表すものではありません。重要なのは、専門家のデモだけで判定器を検証する方法には限界があるという点です。デモの軌跡だけを認めるルールなら、別の手順で達成した有効な実行を見落とすかもしれません。一方、確認する条件が少なすぎれば、未完了の動作を成功としてしまう可能性があります。そのため、タスクがまだ終わっていない反例と、デモとは違っても指示を満たす実行の両方を試す必要があります。
この研究は、ロボット研究の評価対象を方策から測定方法にも広げています。成功率は自動的に客観的な能力の指標になるのではなく、タスクの意味と判定ロジックが一致していることに依存します。SimAuditは不一致を探す体系的な手法を示しましたが、個々の方策の性能を直接評価するものでも、人間の判断を不要にするものでもありません。ベンチマークの開発者が判定器も継続的にテストすれば、スコアの解釈と方策間の比較をより信頼しやすくできます。
コメント
ログイン状態を確認中…
コメントを読み込み中…