Embodied First Exam：コーディングエージェントのためのロボット入学試験

導入

ロボット制御では、あらかじめ学習した視覚運動ポリシーを実行するだけでなく、コーディングエージェントに課題を理解させ、プログラムを書かせ、必要なら制御ポリシーまで学習させるという方向性が注目されています。しかし、従来のロボティクスベンチマークの多くは、固定されたポリシーの性能を測るために設計されています。そのため、エージェントが制御方法そのものを選び、環境からのフィードバックを受けながらロボットを動かせるかは十分に明らかではありません。

この課題に対して、Embodied First Examはコーディングエージェント向けの統一評価枠組みを提案します。名称どおり、エージェントが物理世界に進む前に受ける「第一試験」と位置づけられています。

主なポイント

• 制御方法を固定しない。 エージェントは直接制御を行うことも、コードを書いて制御することも、ポリシーを学習して制御することもできます。複数の方法を組み合わせることも想定されています。
• タスクの幅が広い。 1156タスク、35スイート、47ロボットを収録し、9つの新しいスイートでは、一般的な把持・配置を超えて、空間パズル、巧緻なマニピュレーション、複数ロボットの相互作用、動的な全身制御、シミュレーション間のエンジニアリングを扱います。
• 3種類の評価設定を用意する。 標準設定ではセンサー観測だけが与えられ、通常は環境をリセットできません。リアルタイム設定では、エージェントが推論している間も環境が動き続けます。特権設定ではシミュレーターの完全な状態と無制限のリセットを利用でき、近似的な上限として機能します。
• 現在の性能には大きな余地がある。 456のコアタスクにおいて、評価対象8エージェントのうち最も高い成績を示したGPT-6 Astra in Codexでも、標準設定の成功率は34％でした。
• 失敗の段階も分析する。 研究では、試行がどの段階で失敗したかをラベル付けし、エージェント、設定、段階カテゴリーごとの失敗を比較します。

意義と影響

この研究の重要性は、タスク数を増やしたことだけではありません。評価の単位を、単一の制御ポリシーから、制御方法を選択して実行するエージェント全体へ広げた点にあります。エージェントは課題を理解し、適切な方法を選び、観測結果を使って行動を更新し、失敗しやすい環境の中で動作を完了しなければなりません。

標準設定とリアルタイム設定は、現実世界との距離を測るうえで特に重要です。完全な状態を参照でき、何度でもリセットできるシミュレーションでは、解決策を探索しやすくなります。一方、現実のロボットでは観測は限定され、失敗後に簡単に初期状態へ戻れるとは限りません。環境が動き続ける状況では、推論に時間がかかること自体が制御上の問題になります。

標準設定での34％という結果は、コーディング能力がそのまま信頼できる身体制御能力になるわけではないことを示します。ただし、これはエージェント全体を否定する結論ではなく、今後改善すべき領域を可視化する基準値です。知覚、計画、コード生成、ポリシー学習、実行のどの段階で失敗するのかを共通の枠組みで比較できる点に、このベンチマークの価値があります。

本枠組みは、現実のロボット運用に対する最終的な安全認証ではありません。むしろ、物理世界へ進む前に、コーディングエージェントがどの程度まで自律的に制御を設計し、実行できるのかを確認するための最初の試験です。

出典：Hugging Face Daily Papers