VideoMemBench：视频模型真正记住了多少？

导语

多模态大模型已经能够处理小时级视频，但“看过”并不等于“记住”。在真实的视频对话中，用户往往会先让模型描述某个片段，随后追问另一个事件与它的关系；也可能先要求模型做出判断，再围绕这一判断继续讨论。此时，模型不仅要从视频中检索信息，还要记住此前对话已经建立的语境。

VideoMemBench正是为测量这种能力而提出的基准。论文将其称为“上下文视频记忆”，关注模型能否在同一段视频的长多轮对话中，重新调用自己看过和说过的信息。

核心要点

• 从独立问答转向连续对话。 传统视频问答中的问题通常彼此独立，每道题都可以直接依据视频作答，因此模型不需要保留前文。VideoMemBench则把多个轮次组织成有联系的对话，让后续问题必须利用前面的信息。
• 区分两类跨轮依赖。 “情节依赖”要求模型回忆此前描述过的视觉事件，考察它记住了什么；“答案依赖”要求模型基于自己之前的回答继续推理，考察它记住了什么自己说过。
• 强调题目设计的有效性。 每个依赖关系都要满足两个条件：没有前文就无法回答，同时后续问题不能把所需信息简单重复一遍。数据构建流程由规划器、生成器和判断器三个大语言模型角色协作完成，最终还经过人工专家审核。
• 覆盖长距离与多父依赖。 数据集包含326个视频、2476轮对话，其中1387轮依赖此前轮次，并纳入多父依赖和长距离回指，因而比单轮视频问答更接近持续交互场景。

评测结果与意义

论文评测了20多个开源和闭源多模态模型。表现最好的Claude Opus 5总体得分为45.7%，这一结果说明，即使模型能够处理长视频，稳定维护跨轮记忆仍然是明显短板。这里的难点并非单纯扩大视频输入长度，而是要在对话推进时判断哪些历史信息仍然相关，并准确区分视频证据与模型此前的表述。

VideoMemBench的价值在于，它把“视频理解”和“对话记忆”拆开后重新连接起来，为评估视频助手、长时代理和持续交互系统提供了更贴近实际的测试方式。对模型开发者而言，结果也提示：仅依赖更长上下文窗口未必足够，还需要更可靠的历史检索、状态维护和回答一致性机制。与此同时，基准中的必要性与非泄漏约束，有助于减少题目表面看似依赖历史、实际仍可凭视频猜答的问题。

如果未来的视频助手要持续参与会议回顾、教学辅导或事件分析，它必须记住的不只是画面，还包括此前对话中已经确认的事实。VideoMemBench提供了一个检验这一能力的起点。

来源：Hugging Face Daily Papers