APM-Bench：重新评估第一视角视频助手的跨会话记忆

导语

如果智能眼镜只在一段连续录像中理解用户，它更像一个短时观察工具，而不是个人助手。现实中的使用往往被工作、休息或设备关机打断：用户可能在几小时甚至几天后重新提问，而答案依赖于此前某次交互中出现的视觉信息。APM-Bench 正是针对这一场景提出的评测基准，关注第一视角流式视频助手如何跨会话保存和调用记忆。

从“看完再答”到跨会话记忆

现有流式视频研究常以单个连续视频或较短片段为单位，主要衡量模型能否在当前上下文中识别物体、理解动作或完成多轮问答。这类设置难以覆盖真实个人助理面对的核心问题：一次会话结束后，哪些信息应该被留下？下一次会话开始时，系统应在什么时候调取它们？如果关键信息没有被保存，助手又能否明确承认证据不足，而不是凭空补全？

APM-Bench 将现实互动重构为“多会话生活轨迹”。数据集包含549个会话、104条轨迹和2719个候选样本。每个会话是一段带有细粒度标注的视频，同一条轨迹中的多个会话围绕相关活动展开。问题既包括有明确答案的客观问题，也包括需要结合上下文进行判断的开放式问题，同时考察助手能否基于历史经验作出主动响应。

核心评测维度

• 跨会话回忆：模型是否能从较早会话中找到与当前问题相关的视觉证据。
• 记忆管理：系统是否能够存储信息，并在有限容量下选择性保留更有价值的内容。
• 时机控制：历史记忆应在何时注入当前推理流程，过早或过多注入都可能增加负担。
• 效率权衡：比较记忆带来的回答收益、额外响应延迟与存储开销。
• 证据边界：当必要信息没有进入记忆时，助手是否能识别“不知道”，而非生成看似合理但缺乏依据的答案。

研究者据此评估了通用视频模型在不同记忆协议下的表现，也比较了多种面向流式场景设计的专用记忆系统。摘要给出的总体结论是，现有方案存在明显的效用—延迟—存储权衡：提高长期召回率往往伴随更高的资源成本，降低开销又可能损害答案可靠性。

意义与影响

APM-Bench 的价值不只是增加一个视频问答数据集，而是把“记忆是否真正可用”拆解成写入、保留、检索、注入和拒答等连续环节。对个人助理而言，记住所有内容并不现实，关键在于以可控成本保留未来可能有用的证据，并在证据不足时保持诚实。

这一设定也为后续系统设计提供了更清晰的方向：记忆模块需要与实时感知和交互策略协同，而不能只是把更长的视频上下文直接塞给模型。随着流式视觉助手走向可穿戴设备和长期陪伴场景，跨会话基准有望成为衡量其实用性的关键工具。

来源：Hugging Face Daily Papers