SpatialScout：让VLM真正走进三维空间，主动探索并绘制物体地图

导语

视觉语言模型已经能够回答“画面里有什么”，但这并不等于它们真正理解了一个可供行动的三维世界。面对一个需要移动视角、寻找目标并建立空间关系的任务，模型是否知道下一步该看哪里？能否把不同视角中的同一个物体对应起来，并持续修正它在地图中的位置？SpatialScout正是为回答这些问题而提出的评测基准。

它测试什么

SpatialScout包含80个多样化室内场景和3140个目标物体。智能体获得物体清单、RGB观测、相机标定信息以及相机位姿，但不能只依赖单张图像作答，而是需要控制相机，在有限交互预算内主动探索场景，最后在统一三维坐标系中估计各个物体的中心位置。

这一设置同时考察了几种能力：

• 主动探索：选择能够带来更多有效信息的观察视角，而不是盲目采集图像；
• 跨视图关联：判断多个画面中的目标是否为同一物体；
• 几何估计：利用视觉信息、相机参数和位姿推断物体的三维位置；
• 地图修订：随着新证据出现，更新此前不准确或不完整的空间判断。

评测并不只看模型是否找到了目标，还会结合定位准确性与目标覆盖率。基于物体尺度的重叠分数会对漏检进行惩罚，因此模型若只标出少数容易识别的物体，不能获得理想成绩。

结果说明了什么

实验结果显示，主动三维建图仍是前沿VLM智能体的明显短板。最强参评模型Claude Opus 5.5的平均重叠分数为41.71%；47.23%的目标IoU超过0.5，但达到0.9的目标仅占3.25%。这组结果揭示出一个重要差距：模型或许可以恢复室内场景的粗略布局，却难以同时保证目标齐全、位置准确以及几何边界足够精细。

意义与影响

SpatialScout的价值不在于再增加一个静态视觉问答数据集，而在于把“看懂图像”转化为一个连续的决策问题。智能体必须规划观察、整合多帧证据，并在不确定性下维护一份可用于行动的空间表示。这种能力是机器人导航、抓取、巡检和其他物理世界应用的基础。

当然，基准分数本身不能概括模型在所有真实环境中的表现，但它提供了一个清晰的诊断框架：究竟是探索策略不足、目标匹配出错，还是三维定位和地图更新不够可靠。随着物理AI发展，能否从“描述眼前画面”迈向“主动建立可度量的世界模型”，将成为评估VLM智能体的重要分水岭。

来源：Hugging Face Daily Papers