长视频问答的难点,往往不在于识别某一帧里出现了什么,而在于能否把分散在数小时画面中的线索找全。比如,某个动作总共发生几次、事件先后顺序如何,或某种状态究竟何时改变。只找到一个支持答案的片段并不够:要回答总次数,还得排查遗漏和重复计数。NexSight试图把这种“寻找并核实证据”的过程变成可评测、可训练的能力。
这项工作的核心由三部分构成:
- SightForge负责构建任务。系统不会只凭出题者给出的答案和零散片段就认定题目可靠,而是要求验证者在不知道草拟答案的情况下,依据从原始视频重新密集获取的证据还原任务;反例检查也不能推翻结论。
- SightLine是由此得到的基准,包含来自108段长视频的310项任务,覆盖细粒度时间理解,并保留可追溯的证据。
- SightLoop提供统一的交互式评测环境,支持时间范围探索、局部查看、证据整合和回看,同时记录模型实际获得的观察结果。
这一设计试图补上答案准确率无法说明的部分:模型究竟看了哪里、证据是否充分,以及有没有检查可能推翻答案的信息。对计数和时间线问题而言,证据覆盖尤其关键。一个片段能证明“发生过”,却不能单独证明“只发生了这么多次”;同样,顺序判断也需要把相关事件放回完整时间轴核对。
实验结果显示,最强模型在SightLine上的准确率为54.52%;若直接提供标注证据,准确率达到79.35%。两者的差距提示,瓶颈不只是看懂已找到的片段,如何决定看哪里、何时回看同样重要。研究还将已验证任务上的求解轨迹转化为观察决策的逐步监督,并使用与评测视频分离的视频训练。团队报告称,在少于6000个训练样例的条件下,Sight-35B的交互准确率从21.29%提升至42.26%。
NexSight的意义在于把长视频智能体的“搜索过程”纳入评价,而不是只检查最终答案。这有助于更具体地诊断模型:失败是因为视觉理解不足,还是因为漏看、错过关键时间段或没有复核。不过,基准得分与提供证据后的表现仍有明显差距,说明可靠的长视频推理尚未解决。下一步的价值,不只是继续追求更高答题分数,也包括验证模型能否在不同视频和任务上稳定地找到完整证据链。
评论
正在确认登录状态……
正在加载评论……