导语
多模态大语言模型能识别图像中的物体,却不等于真正理解空间关系。现实中的空间行动需要连续完成几步:从二维画面推断三维布局,预测点击或拖动会带来什么变化,再观察结果并及时修正。TuringSpace 试图把这套闭环能力变成可测量的任务:它不是让模型在选项里挑答案,而是要求模型在浏览器里亲自操作。
核心要点
- 用 CAPTCHA 测空间行动。 TuringSpace 是一个合成网页环境,包含 125 个交互式 CAPTCHA,覆盖五类空间能力。任务必须通过屏幕点击与拖拽完成,模型需要根据操作后的画面反馈继续行动。
- 人与模型仍有差距。 人类任务成功率为 94.1%。表现最好的模型 GPT-6 Astra 达到 74.1%,仍有 25.9% 的任务未能完成;最佳开源权重模型 Kimi K3 的失败率为 68.0%。这组对比说明,能看懂图像并不意味着能可靠地在视觉环境中行动。
- 问题往往始于看错。 研究分析称,多数失败来自对截图的误读。即使操作后出现了反馈,模型的推理也很少能纠正错误认知,反而可能为原先的判断补造依据。这提示,单纯增加推理步骤未必能弥补感知环节的偏差。
- 任务也能用于训练。 每项任务都由程序生成,并配有检查器和参考解答轨迹,因此可以持续生成新实例,也可作为训练环境。研究者用 55K 条轨迹微调 Qwen3.5-9B,将其成功率从 1.6% 提高到 33.1%,超过 Kimi K3。该模型在七项分布外基准上也有提升,其中 VSI-Bench 的真实室内视频任务提高 9.9 个百分点。
意义与边界
TuringSpace 的价值不只在于给模型排出名次,也在于把“空间理解”拆解为观察、行动和纠错的连续过程。以点击和拖拽作为评测接口,比选择题更能暴露模型是否真正掌握位置关系,以及动作会如何改变场景;可生成任务与验证轨迹则提供了规模化训练的可能。
不过,成绩也显示,经过针对性训练的模型仍未达到人类水平。训练后的提升证明这类能力并非完全不能习得,但不能据此认定模型已具备通用空间智能。对于计算机使用代理、机器人指向等任务,接下来仍需要检验模型能否在更多真实场景中稳定感知,并根据行动结果可靠地修正判断。
评论
正在确认登录状态……
正在加载评论……