流式视频模型能够持续接收画面,但“看得久”不等于“会协作”:不少系统仍然把用户的每次请求当成彼此独立的问题。ALIVE(Making Streaming Video Models Interactive)把研究重点放在交互过程本身,希望模型不仅理解视频,也能判断何时回应、如何跟进,以及什么时候应该保持安静。
ALIVE的三项能力
- 主动监测:持续观察视频,在相关事件出现时再作出回应,而不是只等待用户提问。
- 流式任务协调:在视频不断变化、对话多轮推进的情况下,跟踪并处理不断演进的用户需求。
- 反馈寻求:当任务缺少必要信息或需要用户采取行动时,主动提出问题或请求配合,推动任务继续完成。
为了训练这些能力,研究构建了 ALIVE-SFT-288K 和 ALIVE-RL-3K 两套数据,并采用两阶段方案。第一阶段使用对比式监督微调,重点教模型区分何时回应、如何回应;第二阶段通过强化学习继续调整多轮互动中的决策。其核心方法 BACA(Behavior-Aligned Credit Assignment)将轨迹级优势与局部优势结合,试图同时评估整个交互过程和其中具体决策、回答或沉默行为的表现。
评测方面,研究还推出 FSI-Bench,关注模型能否主动寻求反馈,以及后续能否据此完成任务。作者报告称,ALIVE在四项公开基准和 FSI-Bench 上的总体成绩均高于参与比较的模型,显示其在流式理解与交互方面具备潜力。不过,现有素材没有列出基准名称、具体分数、比较模型及实验细节,因此无法据此判断优势幅度,也不能进一步核验各项能力分别带来的提升。
这项工作的意义,在于把流式视频助手的目标从“持续感知并回答”扩展到“持续感知、管理对话并适时协作”。如果反馈寻求和任务跟进能够在真实场景中稳定运行,助手就可能更适合处理需要长期观察、信息逐步补全的任务。另一方面,主动发言也意味着系统必须更好地把握介入时机,避免不必要的打断;如何在有用的主动性与克制之间取得平衡,仍是这类模型走向实际应用时需要检验的问题。
评论
正在确认登录状态……
正在加载评论……