TRACE：别再用单一分数评估流式视频理解

流式视频理解与离线视频问答并不是同一个问题。离线任务可以把完整视频交给模型，再判断答案是否正确；而在流式场景中，模型必须随着画面到达持续观察，并在证据真正出现后决定是否回答。回答得太早可能是在猜测，回答得太晚又可能错过交互窗口。现有评测往往只报告准确率，却没有说明这些时间和执行条件。

TRACE（Temporal Audit and Condition-aware Evaluation）正是为此提出的评测框架。它把流式理解拆解为几个此前容易被忽略的维度：证据何时变得有效，视觉历史如何被保留，模型在什么条件下触发回答，以及一次回答究竟消耗了多少处理和生成资源。

核心要点

• 加入时间审计。 TRACE 为视觉任务标注证据时序，使评测能够区分“看到了相关内容后作答”和“尚未获得充分证据便提前作答”。
• 记录指令依赖的触发行为。 对于需要主动响应的任务，系统不仅检查回答质量，还关注模型是否在目标窗口内响应。
• 采用统一的因果协议。 Core–Adapter 协议控制模型在每个时间点能够访问的信息，同时记录实际处理过的历史内容和响应事件，减少不同系统因输入条件不一致造成的比较偏差。
• 从单指标转向多维报告。 评测覆盖答案质量、响应时效、响应选择、工作负载、任务完成度和可靠性。主动响应任务还区分响应延迟、误报和漏掉目标窗口等行为。

研究在 1,240 条记录、517 个视频上评估了 8 个公开模型或系统配置。结果表明，几乎相同的 QA 准确率，可能对应完全不同的完成度、答案有效性和生成负载。对于主动响应任务，模型的差异也不能只用“答对多少”概括：有的系统可能更谨慎但反应较慢，有的系统可能频繁触发，从而增加误报；另一些系统则可能错过有效响应窗口。

TRACE 的价值不在于再增加一个排行榜分数，而在于改变流式视频系统的比较方式。它提醒研究者，真实部署中的模型表现是由信息可得性、记忆策略、触发决策和计算成本共同决定的“执行条件化行为”。对开发者而言，这种评测有助于定位系统瓶颈：问题究竟来自视觉理解、历史管理、时机判断，还是响应策略。对使用者而言，多维指标也比单一准确率更接近延迟敏感、资源受限的实际应用。

随着视频模型从离线分析走向持续监控、交互式助手和实时代理，评测标准需要回答的不只是“模型是否答对”，还包括“它何时知道、何时行动，以及为此付出了什么代价”。TRACE 提供了一个更细致的起点。

来源：Hugging Face Daily Papers