StreamVibe：让视频智能体读懂不断变化的用户意图

导语

多数视觉语言模型仍更擅长“看完再回答”：用户提出明确问题，模型分析当前画面并给出结果。但在真实交互中，用户未必会把需求完整说出来。例如，用户正在浏览网站、犹豫下一步该点击哪里时，系统需要从连续操作和画面变化中推断其潜在目标，并在合适的时机提供帮助。StreamVibe 研究正是围绕这一类在线、主动且不断变化的意图展开。

从被动问答转向持续协作

论文首先提出 StreamVibe-Bench，作为用户意图理解与交互的测试平台。该基准包含 4.1K 个评测样本和 85K 个训练样本，覆盖三类场景：用户直接说出的显式意图、需要从行为和视觉上下文中推断的隐式意图，以及会随着交互过程持续变化的动态意图。相比只考察单轮视频问答，这种设置更接近真实的流式助手：模型不仅要回答什么，还要判断是否应该回答以及何时回答。

在此基础上，研究团队开发了 StreamVibe-VL。它从连续视频观察中推断用户未明说的目标，并根据意图演化动态调整交互。论文报告称，该模型在保持通用视频理解能力的同时，相比已有基线，在响应时机和回答质量相关表现上提升了 10.7%。

论文还提出 StreamVibe-Harness，用层级记忆保存用户意图与环境状态。其重点并非简单累积全部历史，而是把意图视作具有持续性和灵活生命周期的状态：当用户目标或环境发生变化时，系统可以更新当前理解；当交互持续进行时，也能避免每一帧都从零开始判断。实验显示，该机制进一步改善了持续交互中的响应一致性和适应能力，主动交互表现提升 12.3%。

核心要点

• 评测对象从单次回答扩展到持续观察、意图跟踪与主动响应。
• 隐式意图要求模型结合用户行为、界面变化和上下文进行推断。
• 动态意图要求系统持续更新状态，而不是固守早先的判断。
• 主动助手的关键能力不仅是“答得对”，还包括“是否该答”和“何时介入”。
• 层级记忆为长时间视频交互提供了保存和更新意图状态的机制。

意义与影响

StreamVibe 的价值在于重新定义了视频智能体的评测重点。若系统只在用户明确提问后行动，它更像一个被动问答工具；而面向真实场景的助手需要在不打扰用户的前提下理解上下文，并在需求形成、变化或消失时做出相应调整。论文结果也表明，现有主动模型在隐式和动态意图上仍存在明显局限，尤其是意图理解和响应时机决策。

当然，基准成绩并不等同于现实环境中的完整可靠性。在线助手还需要处理误判、过度打扰以及意图变化带来的状态冲突。StreamVibe 提供的是一套面向这些问题的建模思路和评测框架：让视频模型从“持续看见”进一步走向“持续理解并适时行动”。

来源：Hugging Face Daily Papers