ACT3D：让视觉语言模型学会在三维世界中主动探索

导语

视觉语言模型通常擅长理解眼前的一张图片，但面对三维场景时，仅凭初始视角往往无法判断遮挡物、相对位置或远近关系。来自加州大学圣迭戈分校的研究者提出 ACT3D，尝试让模型像人在空间中观察一样：先看一眼，再决定是否移动，随后根据新视角继续思考。

这项工作的关键，不是给模型额外的三维编码器或一次性提供多视角图像，而是保留视觉语言模型原本的单图像输入方式。三维表示只充当一个可交互环境，模型通过“向左移动”等动作改变视点，并接收环境渲染出的下一张图像。

核心方法

• 从问题驱动探索开始：每次任务从一个第一人称视角和一道视觉问题开始。模型需要判断当前证据是否足够，还是需要寻找新的观察位置。
• 推理、行动与观察循环：模型可以连续进行思考、导航和视角调整，直到决定停止探索并提交答案。这使空间推理不再只是静态识别，也包含了信息获取过程。
• 奖励主要看最终结果：研究先用轨迹监督进行微调，再使用强化学习。强化学习主要依据最终答案是否正确给予反馈，并不直接告诉模型应该访问哪些视点。
• 学习隐含的探索策略：模型必须从行动是否改善答案中，自己归纳出有效的探索方式，例如寻找被遮挡的目标、获取互补视角，或在初始视图已经足够时避免无谓移动。

实验结果与观察

在六个三维基准上，ACT3D达到53.2%的平均准确率，比基础 Qwen 模型提高22.0%，并超过研究中对比的 Gemini 3.6 Flash。与其他开源三维方法相比，它使用的输入帧少50%至70%，说明更长的观察序列并不等于更好的空间理解。

模型的收益还呈现出明显的任务依赖性：对于初始视角即可回答的问题，性能提升只有0.6%；而对于需要大量探索的问题，提升扩大到16.3%。这表明强化学习学到的不是固定的“多看几眼”规则，而是根据问题判断何时、为何以及如何改变视点。在未见过的领域中，ACT3D相对监督初始化平均提升5.9%，也显示出一定的泛化能力。

意义与局限

ACT3D的价值在于重新定义了三维视觉模型的输入方式。模型不必先被压缩成一个完整的三维场景理解器，也可以通过行动逐步获得证据。这种机制更接近具身智能体的工作流程：感知并不只是接收信息，还包括主动决定下一步看什么。

同时，结果也提示，基于结果的强化学习可能成为训练视觉智能体探索能力的一条路径。不过，最终答案奖励较为稀疏，模型如何在更复杂、更长程的环境中避免无效行动，仍是后续问题。未来还需要进一步检验其在真实机器人、连续控制以及开放式任务中的稳定性。

来源：Hugging Face Daily Papers