Omni-InteractScope：连续视听流中的主动交互，仍是全能模型短板

导语

当 AI 助手持续观看视频、聆听声音并理解环境时，真正困难的任务并不是回答一句问题，而是判断“现在是否应该介入、应该做什么，以及之后是否还要继续跟进”。现有多模态模型的评测往往围绕单轮问答展开，难以衡量它们在连续流中的主动性、时机判断和长期协同能力。

论文《Omni-InteractScope》试图补上这一缺口。该基准将输入模态、事件触发、干预类型和用户需求连接起来，用于检验模型能否从连续视听证据中识别关键时刻，并给出及时、持续且与需求匹配的回应。

核心要点

• 评测规模与任务更贴近真实交互。 基准包含 1479 条经过人工标注和交叉复核的交互样本，设置了 1790 个时间目标，覆盖八个任务组。测试内容不只包括回答明确问题，还包括通知、警告、状态跟踪、连续响应、无需提问的辅助，以及在特定事件发生时调用工具。
• 及时调用工具仍不稳定。 论文评测的 12 个模型中，没有模型能在超过 40% 的工具调用目标上给出按时的首次响应。若同时要求时间正确、工具类型正确，最高准确率也只有 32.0%。这说明“会调用工具”与“在正确事件发生时调用正确工具”是两种不同能力。
• 主动提醒明显弱于回答问题。 在各自目标集合中，所有模型对无需用户明确提问的提醒任务，其及时参考目标召回率都低于显式问题场景；提醒召回率最高也未超过 23.0%。模型可能看到了相关信息，却没有判断出用户需要被主动告知。
• 连续指导难以闭环。 基准包含 26 条指导序列，要求模型覆盖一系列相互关联的响应步骤。9 个模型没有完整覆盖其中任何一条，另外 3 个模型也只完成了 1 至 3 条。这暴露出模型在跨时间保持状态、跟进任务和维持行动连贯性方面的不足。
• 工具分数不能替代事件理解。 研究中的对照实验表明，工具调用成绩本身不足以证明模型建立了可靠的事件依据；提醒覆盖率还会受到响应历史和提醒频率影响。因此，单一的工具成功率或文本质量指标并不够用。

意义与影响

Omni-InteractScope 的价值，在于把“模型能不能答对”推进为“模型能不能在连续环境中适时行动”。对于可穿戴设备、智能座舱、实时陪伴和具身系统而言，过早提醒会造成打扰，过晚提醒则可能失去价值；漏掉一次关键事件，也可能让后续工具调用和指导全部失效。

这项研究提示，下一代流式助手需要同时优化事件定位、介入时机、用户需求推断、响应频率控制和多轮任务覆盖。模型评测也应从孤立的单步指标，转向关注完整响应链路：是否在正确时间出现、是否采取正确行动、是否根据历史持续跟进，以及最终是否完成用户目标。换言之，主动交互能力不只是更强的感知或更长的上下文，而是感知、决策与持续执行之间的可靠衔接。

来源：Hugging Face Daily Papers