Open-o3-Video-v2：让视频推理主动寻找并验证证据

2026年10月14日阅读约 3 分钟

导语

视频推理的难点，不只是“看懂”画面，还包括回答能否被复核。传统方法通常先对视频进行稀疏采样，再让模型基于这些固定帧作答。一旦关键动作发生在采样间隔之间，模型即使具备较强的语言推理能力，也可能因为没有看到必要证据而得出错误结论。

北京大学团队提出的 Open-o3-Video-v2，试图把这一流程改造成一个主动、可验证的证据获取过程。相关模型、代码和项目资料已公开。

从固定采样转向主动观察。 模型会先判断当前信息是否足够；如果发现线索缺失，就继续获取额外的视频观察，而不是被动依赖最初的稀疏帧。
把推理依据写进轨迹。 模型不仅记录相关时间点，还会用目标级边界框标出支持判断的对象或区域，使答案与视频证据建立更明确的对应关系。
训练数据覆盖多轮交互。 团队构建了 STGR-v2-CoT135K，其中包含 5.2 万条多轮、带时空定位的智能体推理轨迹；另有 STGR-v2-RL-13K 用于强化学习训练。
检索质量纳入奖励。 新提出的 Clue-Seek GRPO 会追踪工具调用对累计证据的影响，奖励线索覆盖和每一步带来的信息增益，同时惩罚过度、重复或缺乏信息量的检索。
小规模模型也获得明显提升。 在 V-STaR 上，Open-o3-Video-v2-4B 的 mAM 为 40.4%，mLGM 为 56.3%，相较其 Qwen3-VL-4B 骨干模型分别提升 8.5 和 12.6 个百分点。论文还报告了其在通用视频理解、长视频推理和时序定位任务上的持续增益。

这项工作的关键变化，是将视频推理拆成“发现缺口—主动取证—定位对象—继续推理”的闭环。模型不再只是对预先整理好的视觉输入进行一次性判断，而是能够根据当前推理状态决定下一步应查看什么。这种机制尤其适合长视频、细粒度动作和需要比较多个时刻的任务。

证据定位也让结果更容易检查。时间戳回答“事情发生在什么时候”，边界框则进一步回答“画面中的什么对象支持这个判断”。二者结合，可以降低模型凭借语言先验生成看似合理答案的风险。不过，主动检索同时带来额外的工具调用和计算成本，检索是否真正改善证据质量仍是系统设计的关键。

总体而言，Open-o3-Video-v2 展示了两条互补路线：通过主动获取信息减少观察缺失，通过对象级时空 grounding 提高结果可验证性。它的价值不只在于单项指标提升，也在于为视频智能体如何形成、保存和使用证据提供了一种较完整的训练框架。