最先端VLMエージェントはロボット汎用知能になれるのか

導入

ロボットに物体をつかませ、指定場所へ置かせるには、画像認識だけでは不十分です。ロボットはシーンを理解し、距離や尺度を推定し、実行可能な動作を選び、複数の手順を進めたうえで、最終的な物理状態を確認しなければなりません。Embodied Agent Arenaは、最先端の視覚言語モデル（VLM）がこの一連の能力を備え、ロボットの汎用エージェントになれるのかを調べました。

完全な能力連鎖を評価

研究では10種類のVLMエージェントを、幾何、空間推論、アフォーダンス、タスク計画、マニピュレーションの5領域で評価しています。全体は1000ケースで、32の既存データソースに、カメラ、運動、深度、尺度推定を扱う168ケースのGeoProbeを加えています。評価環境は最小限のハーネスにとどめ、タスク上の判断は各モデルが担当します。

この研究の重要な点は、単純な平均スコアだけでなく、失敗の種類を分解していることです。

• クローズドウェイトモデルが5領域すべてで優位でした。オープンウェイトVLMは有用な空間推論を示しましたが、計画と操作の成功率は大きく低くなりました。
• 幾何的な誤差が似ていても、原因は同じではありません。尺度を誤るモデルもあれば、形状や空間関係を歪めるモデルもあります。
• 画像上で正しい領域を示せても、実際にロボットが使える動作点を特定できるとは限りません。
• 途中のサブゴールを達成した後で、物体の制御を失ったり、誤った受け側領域に動作を結びつけたり、必要な状態を確認せず終了したりします。

計算量を増やせば解決するのか

追加の計算や自己レビューも、万能な対策にはなりません。コード修正によって実行を再開できても、タスクそのものが完了するとは限りません。自己レビューも、誤りを直す場合がある一方、正しかった判断を覆すことがあります。

これは、具身タスクに必要なのが単なる長い推論ではなく、環境からのフィードバックを使う循環であることを示します。エージェントは不足している前提条件を見つけ、環境の変化に合わせて計画を修正し、終了前に物理状態を検証しなければなりません。

モデルごとに失敗コストも異なります。計画能力の高いモデルでは、長時間の身体制御タスクに失敗が集中しました。別のモデルでは、さまざまな手順に広く失敗が現れます。成功した軌跡では、フィードバックで不足条件を補い、残りの手順へ進む回復が確認されました。

意義と影響

この結果は、ロボット汎用性を単一の視覚スコアや空間スコアで判断すべきではないと示しています。今後は、幾何誤差の種類、動作の実行可能性、最終状態の成立、失敗からの回復を一体で評価する必要があります。モデルの大型化だけでなく、状態推定、動作の接地、実行監視、フィードバック設計が重要になります。

現在のVLMは汎用的な具身能力の一部を示しています。しかし、開かれた環境で安定して連続動作し、失敗後にも復帰できるロボット汎用エージェントには、まだ距離があります。

出典：Hugging Face Daily Papers