RoTA-Bench：让视觉语言模型在旋转物体中暴露三维推理短板

导语

让模型识别一张图片，和让模型根据图片采取正确动作，并不是同一件事。RoTA-Bench关注的正是两者之间容易被忽略的差距：模型能否从二维观察中建立足够可靠的三维理解，并通过连续旋转把物体调整到目标状态。

任务如何设计

在测试中，模型会看到一个目标轮廓，以及处于某个旋转状态的三维物体。它需要在有限的动作预算内，选择一系列旋转，让物体在二维平面上的投影尽可能匹配目标。每次操作后，模型都能获得新的视觉反馈，因此任务不仅考查单次判断，也考查状态记忆、动作规划和误差修正能力。

研究团队从二维图标出发，自动生成能够保持轮廓特征的三维物体，并通过可逆初始化保证任务原则上可解。整个基准包含674个任务，另设分层抽样的100任务测试集，减少了单一形状或单一难度带来的偏差。

核心结果

• 人类与模型之间仍存在明显差距。GPT-5.6-Sol只完成了17%的任务；20名本科生共同完成测试集四轮，成功率为100%。
• 图像相似度并不等于姿态正确。在状态匹配实验中，模型更常出现轮廓重叠变好、但真实姿态对齐变差的情况，比例为19.4%，人类为10.9%。
• 交互历史对细粒度控制至关重要。移除历史信息后，模型96.8%的动作都退化为30度这一粗粒度步长，任务成功率也明显下降。

意义与影响

这些结果说明，当前视觉语言模型可能擅长比较两张图像，却未必真正掌握物体的三维几何、旋转效果和自身行动造成的后果。只看最终图像是否相似，也可能掩盖姿态理解错误：模型找到了一种视觉上更接近的状态，却没有朝正确的三维方向前进。

RoTA-Bench的价值在于把空间推理和行动闭环结合起来。它提醒研究者，未来评估多模态模型时，不能只测识别、问答或静态空间关系，还应加入有限动作预算、连续反馈和精确控制。对机器人及其他具身智能系统而言，这类基准也更接近真实环境中的决策要求。不过，测试基于由二维图标生成的受控物体，结果能否直接外推到复杂自然场景，仍需进一步验证。

来源：Hugging Face Daily Papers