当视觉推理不再只是识别：HSS基准测试多模态模型的“第六感”

2026年10月12日阅读约 3 分钟

导语

人类观看一幅画面时，通常不会止步于“看到了什么”。我们会进一步判断某个动作刚刚发生了什么、下一步可能怎样发展，一辆车能否从狭窄空隙中通过，或者一段视频里谁更可能拥有主导权。这些判断往往不需要刻意分析，却深度参与着日常导航、协作与社交互动。

论文《Humanity's Sixth Sense》将这种能力称为一种人类的“第六感”，并提出 Humanity's Sixth Sense（HSS）基准，专门评估多模态大语言模型从视觉输入中恢复隐含信息的能力。

现有视觉基准大致分为两类：一类考察目标识别、属性判断等底层感知，另一类要求模型完成较长链条的专家分析或数学推理。HSS关注的是夹在两者之间、却十分贴近日常生活的一类能力：快速、零样本地理解画面背后的结构。

根据素材，HSS覆盖图像和视频，并按照结构化分类组织题目。每道题配有人类编写的提示，重点考察四个方向：

这意味着，模型不能只把图像当作物体清单，也不能仅依靠外部常识套用答案，而需要把视觉线索组织成对情境的整体理解。

素材给出的结果显示，人类参与者准确率达到93.1%，而最强模型GPT-6-astra即使采用最大推理力度，准确率也只有53.6%。这一对比揭示了一个重要现象：模型可能在许多需要复杂感知、知识调用和显式推理的任务中表现出色，却仍不擅长人类几乎凭直觉完成的视觉判断。

研究还探索了带有智能体流程的设置，让系统能够对视觉内容进行动态操作。这种方式可以缩小模型与人类之间的差距，但并没有弥合差距。换言之，增加观察和操作步骤可能有帮助，却不能简单替代稳定的情境直觉。

HSS的价值不只是新增一个排行榜。它把过去容易被“常识”或“综合能力”笼统描述的视觉直觉拆分出来，成为一个独立的评估维度。对于需要与人协作的多模态助手、视频理解系统和具身智能体而言，理解未明说的空间限制、行动趋势和社会线索，往往比准确描述物体更接近真实部署需求。

同时，这项工作也提醒模型研发者重新审视“推理能力”的定义。更长的思维链或更大的模型规模，未必会自动带来人类式的快速情境理解。HSS若能进一步推动针对时间、空间、社会和抽象推断的训练与诊断，就有望帮助研究者定位多模态系统在现实交互中的具体短板。

总的来看，这项基准提出的问题很直接：模型是否真的理解了画面，还是只是在复述画面中显眼的内容？HSS给出的初步结果表明，答案仍然更接近后者。