EgoProceVQA：让第一视角视频模型学会理解“步骤”

导语

第一视角视频理解正在成为多模态大模型走向真实世界的重要入口：眼镜、运动相机或其他可穿戴设备记录的，不只是“看见了什么”，更是“人正在按什么步骤完成一件事”。来自 arXiv 的论文 EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent 将焦点放在这一点上：现有评测往往关注物体、动作或场景识别，却很少系统考察模型是否真正理解日常任务中的流程与关键步骤。

核心要点

• 提出 EgoProceVQA 任务：论文将第一视角程序理解纳入视频问答范式，围绕关键步骤设计六类问题，用来评估多模态大模型和智能体在复杂流程推理中的能力。
• 覆盖日常程序场景：作者基于 EgoProceGen 数据生成平台构建基准，包含 3600 个问题、4 类常见程序场景以及 31 个日常流程任务。
• 强调关键步骤级推理：与只判断视频中出现了什么不同，EgoProceVQA 更关心模型能否识别步骤顺序、关键动作、缺失环节或与任务目标相关的过程信息。
• 现有模型仍不够强：论文评测显示，当前多模态大模型和智能体在该任务上仍有较大提升空间，说明“看懂视频”与“理解如何完成一项任务”之间仍存在差距。
• 提出 EgoProceAgent：作者进一步设计了一个自我技能探索式智能体框架，配套通用工具库和标准化子技能库，让智能体在没有真值监督的情况下探索如何组合、选择子技能来解决不同问题。

意义与影响

这项工作的价值不只在于增加了一个新基准，更在于把第一视角视频理解从静态感知推向“程序理解”。如果未来的 AI 助手要在厨房、维修、清洁、手工操作等场景中提供实时帮助，它需要知道用户已经完成了哪一步、下一步可能是什么、当前动作是否偏离目标。这类能力很难仅靠单帧识别或普通视频描述完成。

EgoProceGen 的引入也反映出评测构建方式的变化：针对不同问题类型高效生成问答数据，可以帮助研究者更系统地拆解模型短板。与此同时，EgoProceAgent 所采用的自我技能探索思路，强调让智能体学习如何调用工具、组合子能力，而不是只依赖端到端回答。这与近期多模态智能体的发展方向一致，即从单模型感知走向可分解、可调度的任务推理。

当然，从摘要信息看，该基准规模仍处于研究型阶段，场景和任务覆盖范围也需要在更多真实世界数据中继续扩展。但它提出的问题非常关键：多模态模型是否真的理解“过程”？对于面向可穿戴设备、机器人和个人助理的 AI 系统而言，这可能会成为比物体识别更接近实用价值的一项核心能力。

来源：arXiv