SpatialScout、VLMエージェントの能動的な3D探索・地図構築を検証

導入

画像を見て「何が写っているか」を答えられることと、周囲の3次元世界を行動可能な形で理解することは同じではありません。実際のエージェントには、次にどこを見るべきかを決め、複数の視点に現れる同じ物体を対応付け、新しい証拠に応じて位置推定を修正する能力が必要です。SpatialScoutは、こうした能動的な空間理解を直接測るために設計されました。

ベンチマークの仕組み

SpatialScoutは、80の多様な屋内シーンと3,140個の対象物で構成されます。エージェントには物体の一覧、RGB観測、カメラのキャリブレーション情報、カメラ姿勢が与えられます。しかし、一枚の画像だけで答えることはできません。限られたインタラクション予算の中でカメラを操作して探索し、最後に共通の3D座標系で各物体の中心位置を推定します。

主な評価対象は次の通りです。

• 能動探索：情報量の高い視点を選び、無差別に画像を集めない能力
• 視点間の対応付け：複数の画像に写る物体を同一インスタンスとして結び付ける能力
• 幾何推定：視覚情報とカメラ情報から3D位置を推定する能力
• 地図の更新：新しい観測に基づいて過去の推定を修正する能力

評価は物体を見つけたかどうかだけではありません。物体スケールの重なりスコアによって位置精度と対象物のカバレッジを同時に測り、予測漏れも減点します。そのため、見つけやすい物体を少数だけ報告しても高得点にはなりません。

結果が示す課題

報告された実験では、最先端のVLMエージェントにとって能動的な3Dマッピングは依然として難しい課題でした。評価対象の中で最も高い成績を示したClaude Opus 5.5でも、平均オーバーラップスコアは41.71%です。IoUが0.5を超えた対象は47.23%でしたが、0.9を超えた対象はわずか3.25%でした。つまり、室内の大まかな配置は推定できても、すべての物体を十分な精度で、漏れなく地図化することは難しいということです。

意義と影響

SpatialScoutの特徴は、静的な画像質問応答を追加するのではなく、空間理解を連続的な意思決定問題として扱う点にあります。エージェントは観測計画を立て、複数フレームの証拠を統合し、次の行動に利用できる空間表現を維持しなければなりません。これはナビゲーション、物体操作、点検など、物理世界で動くAIの基礎能力です。

このスコアだけで現実環境の性能全体を判断することはできませんが、探索、物体対応付け、位置推定、地図更新のどこで失敗しているのかを分析する手がかりになります。物理AIが発展する中で、目の前の画像を説明する段階から、測定可能な世界モデルを能動的に構築する段階へ進めるかが重要になります。

出典：Hugging Face Daily Papers