VideoJev：把视频理解改造成可复用的决策接口

导语

视频智能体要做的不只是“看懂一段视频”，还要在合适的时间回答问题、定位事件，并根据中间结果决定下一步行动。传统多模态大语言模型通常通过自回归方式生成答案，这种方式语义表达灵活，却可能在重复查询同一段视频时带来较高的计算开销。VideoJev尝试从决策角度重新设计视频理解流程，让模型直接对候选时间区间或答案选项进行评分。

核心做法

VideoJev建立在预训练多模态大语言模型之上，采用共享预测头替代常规的自回归答案解码。对于时序定位任务，模型评估不同时间区间与视频证据的匹配程度，从而输出事件发生的起止范围；对于多项选择视频问答，模型则直接比较文本选项，选择最符合视频内容的答案。这样一来，原本看似不同的“事件在哪里”和“正确答案是什么”，被统一成结构化决策问题。

这种设计并不意味着模型放弃语言能力，而是将语言模型负责的视频语义理解，转化为智能体可以直接使用的分数和结构化结果。对于需要连续交互的场景，VideoJev还提供两种计算复用方式：Cached inference会保留已经完成的视频视觉计算，后续问题到来时避免从头处理；Joint inference则在一次前向过程中同时处理多个查询，适合批量提问或并行决策。

实验表现

论文介绍了VideoJev-4B和VideoJev-35B-A3B两个版本。 在三个时序定位基准上，两个模型相较各自的Qwen骨干模型，平均mIoU分别提升6.7和10.8个百分点；模型前向过程的测量加速约为2.8至3.1倍。 在四个视频问答基准上，VideoJev在“思考模式”下达到与对应骨干模型相近的效果，而前向计算速度提升超过100倍。这里的速度数据针对模型前向过程，不能直接等同于完整应用的端到端延迟，但足以说明结构化评分在重复视频查询中的潜力。

意义与影响

VideoJev的价值在于提供了一种更贴近智能体工作流的视频模型接口。现实任务往往不是一次性生成一段解释，而是围绕同一段视觉历史反复提出目标、核对进展、选择动作。缓存和联合推理可以减少这些交互中的重复视觉计算，结构化输出也更容易被后续规划器或工具调用模块消费。

当然，现有结果主要集中在时序定位和多项选择问答，结构化评分能否覆盖更开放的生成式任务，还需要更多验证。总体而言，VideoJev展示了System One思路在视频领域的一种落地方式：让模型少做不必要的文本生成，多输出可组合、可复用的判断结果。

来源：Hugging Face Daily Papers