DeltaStreamer：让视频智能体像人一样持续观察、记忆与回看

导语

流式视频理解与普通视频问答不同。系统并不知道用户何时提问，也无法提前判断未来问题会关注人物、动作、物体，还是某个短暂出现的细节。如果只把长视频压缩成一串概括性文字，关键转场和视觉证据很容易在压缩过程中消失；等问题真正出现时，模型可能只剩下一个不完整的记忆。

论文提出的 DeltaStreamer，正是针对这一问题设计的智能体框架。它不把视频理解看成一次性的“看完再回答”，而是拆成持续观察、组织记忆和主动调查三个环节，让系统在回答问题时重新调取必要的视觉证据。

核心方法

• 记录变化，而不只是记录状态：系统比较连续采样帧，既描述当前场景，也显式记录人物、物体和事件如何发生变化。这样做有助于保留事件演进过程，避免只留下静态摘要。
• 建立带证据指针的结构化记忆：观察结果被组织成文本记忆，并关联回原始视频帧。记忆因此不仅是模型生成的描述，也保留了进一步核查视觉内容的入口。
• 根据问题规划调查路径：问题到来后，查询驱动的规划器判断需要哪些证据，再检索相关记忆。若已有描述不够精确，系统可以定位并回放历史帧。
• 用回放弥补观察阶段的遗漏：这一步是DeltaStreamer与单纯摘要式方案的关键差异。系统不必在第一次观察时保存所有细节，而是在需要时重新查看原始画面，从而恢复此前被压缩或忽略的信息。

实验与意义

论文在OVO-Bench和StreamingBench上进行评估，报告的整体成绩分别为66.07%和59.53%，并称其优于多种代表性流式视频理解方法。这里的价值不只是分数提升，更在于系统架构从“被动记忆”转向“按问题主动取证”：视频持续到来时保持低负担的结构化记录，问题出现后再集中计算和回看。

这一思路对长时视频、直播和交互式视频助手尤其重要。素材页面还提供了开源代码、可本地部署的交互式演示，以及基于该框架构建的AI-Tongdan直播伴侣应用，展示了视频、音频和弹幕上下文结合的应用方向。不过，现有材料主要说明了框架设计与基准成绩，尚未提供更细的效率、延迟、存储开销或不同回放策略的消融结果。因此，DeltaStreamer更适合被理解为一种将持续感知与主动调查连接起来的研究方案，而不是已经解决所有实时视频理解问题的完整产品。

从更长远的角度看，流式视频智能体的竞争点可能不再只是“能否看懂画面”，还包括“记住什么、何时回看，以及如何用原始证据验证记忆”。DeltaStreamer提供了一个清晰的系统化答案。

来源：Hugging Face Daily Papers