从看视频到做研究：视频中心型深度研究智能体如何被评测

2026年10月23日阅读约 3 分钟

导语

当下的深度研究智能体已经能够检索网页、整理资料并生成长篇报告，但它们通常把文本或网页问题作为起点。面对一段包含操作演示、访谈、实验过程或产品体验的视频，智能体不仅要“看懂”，还要判断哪些片段值得追踪、哪些结论需要外部证据验证，并让读者能够回到对应时间点复核。

题为《Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports》的研究，正是针对这一缺口提出新的任务定义和评测基准。

研究把任务命名为“视频中心型深度研究报告生成”。用户提供视频和研究请求后，智能体需要完成一条较完整的工作链：识别研究问题，理解视频中的画面、声音和语言信息，检索外部多模态资料，最后生成一份可以与视频时间点关联的交互式报告。

这与普通的视频问答不同。普通问答往往只要求回答一个问题，而这里的目标是形成可核查、可延伸的研究成果。例如，报告应帮助用户快速定位相关片段，判断视频中的说法是否得到外部资料支持，复现视频展示的步骤，或者基于视频和网络证据作出更稳妥的决策。

研究团队发布了OmniDR-Bench，包含50项中英文任务，覆盖19个现实世界子类别，共设置6414条评测标准。为了避免只用一个总体分数掩盖细节，团队设计了Omni Atomic Rubric Trees，也就是“全能原子评分树”。

其评测主要围绕三类能力展开：

评分树包含23个共享方向，同时加入针对具体任务的原子化二元标准。为了提升标注可靠性，研究还提出Audited Rubric Construction流程，通过独立证据收集、自动检查、行为校准和多轮人工复核构建评分标准。

在18种智能体配置的比较中，最佳系统得分为63.3分（满分100分）。这个结果说明，现有模型已经具备一定的视频理解、网络检索和报告组织能力，但距离稳定完成视频驱动的深度研究仍有较大距离。

研究指出，当前系统的主要短板包括：对不同视频内容的覆盖不够广；难以跨越视觉、语音与文本证据完成更强的因果和逻辑分析；引用与具体论断之间的对应关系还不够准确。换言之，智能体可能找到了看似相关的资料，却未必真正证明了视频中的那条结论，也未必把证据放在读者最容易核查的位置。

这项工作把视频智能体的评价重点从“能否描述画面”推进到“能否围绕视频开展研究”。它为教育内容核查、维修和操作教程、产品测评、访谈分析以及科学演示等场景提供了更接近实际使用的测试框架。

更重要的是，基准暴露出一个常被忽视的问题：多模态研究的难点不只是增加输入模态，而是建立证据之间的可追溯关系。未来的系统需要同时做好时间定位、跨模态推理、来源核验和交互设计。只有当报告中的每个关键判断都能回到视频片段或外部来源，视频中心型深度研究才可能从演示能力走向可靠工具。