视频大模型真的“看懂”了吗？新研究用 VDG 拆穿高分幻觉

导语

视频大语言模型的评测长期依赖一个直觉：如果模型在视频问答基准上答得准，就说明它“看懂了”视频。但一篇题为《Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks》的研究提醒我们，这个直觉并不总是成立。作者对 20 个、参数规模从 2B 到 78B、覆盖 10 类架构家族的视频 LLM 进行审计，发现“准确率”和“视觉依赖”可能是两件可分离的事。

核心要点

• 提出 VDG 指标：Visual Dependency Gap 衡量同一道题在原始视频输入与黑屏输入下的正确性差异。若模型看原视频和看黑屏都能答对，说明这道题未必真正检验视觉理解。
• 准确率不等于视觉扎根：在 MVBench 上，模型在原始视频条件下的表现差异显著，但在黑屏条件下差异不显著。这表明一些基准分数可能来自语言先验、题目模式或数据偏差，而非视觉证据。
• 不同任务的视觉依赖不同：属性感知类任务更依赖画面信息；而时间推理任务更接近语言-only 基线，说明当前测试中的“时间理解”可能没有充分迫使模型使用视频时序。
• 帧多样性比时间顺序更重要：研究设计了从黑屏、单帧、乱序帧到原始视频的诊断阶梯。结果显示，视觉收益主要来自看到更多不同帧；在 16 个开放权重模型中，保持正确时间顺序带来的准确率增益接近于零。
• 排除采样稀疏的解释：作者进一步在 0.5 到 24 FPS 范围内做消融，认为“模型只是因为采样太稀疏才不理解时序”并不能解释主要现象。
• 压缩也会掩盖细节问题：H.264 实验显示，总体准确率看似稳定，但具体到问题层面，会出现双向答案翻转，也就是有些题从错变对，有些题从对变错。

意义与影响

这项研究的重点不是否定视频 LLM 的进步，而是提醒评测社区：单一准确率无法回答“模型到底有没有看视频”这个问题。一个模型可以在排行榜上得分不低，却在黑屏输入下仍能答出大量题目；这意味着基准可能混入了可由文本先验解决的问题。

VDG 的价值在于提供了一种相对直接的审计方法：把视觉信息拿掉，再看模型性能掉多少。掉得多，说明任务更依赖视觉；掉得少，则需要重新检查题目设计、答案分布与语言线索。对模型开发者而言，这有助于区分“会利用视觉证据”与“会猜测试集规律”；对基准设计者而言，它也提示未来的视频评测应更强调不可由单帧、乱序帧或纯语言轻易解决的任务。

论文还将诊断扩展到 4 个通过 API 访问的模型，VDG 数值范围从 0.025 到 0.315，说明这一现象并不只存在于开放权重模型中。随着视频多模态模型被用于监控、教育、内容理解和智能体场景，评测是否真正测到视觉扎根能力，将直接影响我们对模型可靠性的判断。

来源：arXiv