OmniCompass：把视频理解评测推进到时空与视听协同

导语

多模态模型已经能够描述视频、回答问题，但“看懂了什么”与“是否找到了正确证据”并不是一回事。一个模型可能给出听起来合理的答案，却无法指出目标出现的时间、位置，或无法在需要声音线索时完成判断。OmniCompass 试图把这些能力放进同一套评测框架，系统考察模型对视频内容的定位、感知和推理能力。

一个覆盖多维能力的基准

OmniCompass 设有两个评测轨道。OmniCompass-VL 面向主要依赖视觉和语言输入的模型；OmniCompass-AV 则针对需要联合利用音频与视觉证据的全模态模型。两个轨道都包含三项互补任务：

• 时间定位（TG）：判断被指代目标何时出现在视频中；
• 空间定位（SG）：判断目标位于画面的什么位置；
• 问答（QA）：回答视频中发生了什么，并考察感知与推理。

VL 轨道包含 820 个视频和 2460 个实例，覆盖不同领域以及短、中、长三种时长。AV 轨道从中选取叙事性更强、音频信息更丰富的内容，包含 240 个视频和 720 个实例。每个实例都设置了文本指代与文本加图像指代两种配对条件：目标本身保持一致，但模型获得的引导形式不同，因此可以进一步观察模型是否对参考方式敏感。

数据由人工标注，并经过多轮质量核验。项目还记录了约 1800 小时的人类标注投入，显示其重点并不只是扩大样本规模，也在于提高时空定位和问答标签的可靠性。

评测揭示的关键问题

研究者对 50 个多模态大语言模型进行了测试，并同时关注任务得分与跨指代方式的一致性。结果指出，精确的时空定位和细粒度感知仍然是模型的薄弱环节；在音频与视觉协同理解上，开源模型与专有模型之间的差距尤其明显。

另一个值得注意的发现是，加入视觉参考并不会普遍提升成绩，收益取决于具体模型和任务。模型在一种指代形式下得分较高，也不代表换一种指代后仍能正确回答。时间戳通常有助于提升定位表现，并能明显增强评测稳定性。

意义与影响

OmniCompass 的价值在于，它把“视频问答”拆解为可诊断的证据链：目标在哪里、何时出现、发生了什么，以及模型是否能在视觉、语言和音频之间建立一致联系。对模型开发者而言，这类评测有助于区分感知、定位和推理瓶颈；对使用者而言，跨设置的一致性比单一榜单分数更能说明模型是否可靠。

随着视频智能体、内容检索和多媒体交互的发展，模型不仅要生成流畅答案，还要能够指向答案所依据的片段和区域。OmniCompass 提供了一种更接近这一实际需求的评估思路，也提醒行业避免把单一问答分数等同于完整的视频理解能力。

来源：Hugging Face Daily Papers