EmbodiedLab：実験を通じて「知る」能力を持つエージェントを評価

導入

従来の具現化AIベンチマークでは、ロボットが物体をつかむ、移動させる、あるいはシーンを指定された状態に整えるといった課題が中心だった。これらは知覚、計画、制御を測るうえで有効だが、科学的な作業に含まれる重要な問いを十分に扱っていない。答えが事前に分からないとき、ロボットは行動を通じて答えを発見できるのか、という問いである。

EmbodiedLabはこの課題を「変えるために行動する」から「知るために行動する」へ広げる。エージェントは目的と実験装置だけを与えられ、自分で手順を選択する。物理ベースのシミュレーション実験室を操作し、カメラから計器の反応を読み取り、必要な結果を特定できるまで探索を続ける。

主なポイント

• 未知の結果を扱う。 実験ごとにシステムのパラメータが再サンプリングされるため、固定された正解を記憶して答えることはできない。
• 実験手順を自分で組み立てる。 何を操作し、何を測定し、どの順番で進め、いつ終了するかをエージェント自身が判断する。
• 知識を定量的に検証する。 5分野にまたがる30実験と14種類の装置プラットフォームを用い、獲得した知識、要求された物理状態、そしてエピソード中に記録された計測値との整合性を評価する。
• 観察から操作までを一体で測る。 6つの最先端モデルを開発者のコーディングエージェント上で評価し、標準の観察・制御に加え、知覚、運動計画、操作スキルの効果も比較した。

意義と影響

標準的な制御条件では、最も強いエージェントでも成功率は半分未満だった。すべてのエージェントで、失敗の多くは抽象的な科学推論よりも実験装置との相互作用に起因していた。もっともらしい実験計画を作れても、装置を正確に操作し、計器を読み、測定に必要な状態を維持できるとは限らない。

比較結果は、基礎的な操作能力の重要性も示している。操作スキルを追加すると、弱いエージェントでは、知覚や運動計画を追加した場合より改善が大きかった。これは知覚や計画が不要という意味ではない。実験型の具現化知能では、まず制御部を見つけ、適切な動作を行い、装置の状態を保ち、フィードバックに応じて手順を修正する能力がボトルネックになっている可能性を示す。

EmbodiedLabは、科学的発見、能動的探索、ロボット操作を一つの評価ループにまとめた。科学の質問に答えたり、実験手順を説明したりするだけでなく、未知の条件で手順を実行し、証拠を集め、記録された観測によって検証可能な結論を出すことを求める。実験を語れるモデルと、実際に実験を進められるシステムの差を測る基盤となる。

出典：Hugging Face Daily Papers