MobilePA-Bench：把移动端智能体从“会点屏幕”拉回真实任务

移动端智能体的难点，从来不只是“能不能看懂屏幕”。当模型要替用户完成一项跨应用、跨步骤的任务时，它还必须知道该调用什么工具、按什么顺序执行、如何处理权限，以及在环境返回异常后怎样恢复。MobilePA-Bench 试图把这些容易被忽略的能力纳入同一套评测框架。

导语：移动智能体需要更接近真实运行环境的考试

现有评测大致分为两类。一类以 GUI 操作为中心，考察模型能否识别界面并点击、输入或滑动，但通常看不到后台工具调用和长期任务规划。另一类是静态函数调用基准，主要比较模型能否从描述中匹配正确 API，却没有真正面对应用状态变化、执行顺序和运行时限制。

MobilePA-Bench 的切入点是一个可执行的移动端沙盒。沙盒维护实时的应用数据库，并向智能体返回结构化反馈，因此任务不是一次性的“猜 API”，而是一个会随着行动持续变化的状态环境。基准覆盖 13 个功能领域和 212 个贴近真实移动应用的工具，评测对象也从单步调用扩展到完整的规划过程。

核心要点

• 交互式、状态化评测：模型需要根据当前应用状态连续行动，而不是在离线环境中提交工具名称。
• 关注工具调用链：工具是否选对只是起点，调用顺序、参数、权限和错误处理同样影响最终结果。
• 测试三类高级能力：其一是子智能体协作，即拆解复杂任务并把专业部分交给合适的子智能体；其二是记忆使用，包括读取用户画像、历史偏好和已存信息，以理解隐含需求；其三是技能使用，即调用预先封装的复合技能，避免每次从零规划。
• 更强调端到端完成度：评测不止看某一步是否成功，而是观察规划、执行、反馈利用和后续调整能否连成闭环。

实验传递出的信号

根据论文摘要，当前前沿大模型在移动场景中仍然不稳定。任务一旦要求严格遵守工具顺序，或受到权限限制、意外运行时错误的干扰，性能就会明显下降。这说明模型在理想化的工具调用测试中表现良好，并不等于它能在真实操作系统里可靠完成任务。

这一结果也揭示了移动智能体的瓶颈：规划器不仅要“想对”，还要持续观察环境并修正计划。记忆可能提供关键上下文，复合技能可以缩短规划链条，子智能体则有机会分担复杂工作，但这些机制本身也要求主智能体具备任务分解、调度和结果整合能力。任何一个环节失误，都可能让一条看似合理的执行链中断。

意义与影响

MobilePA-Bench 的价值在于把评测焦点从屏幕表面推进到应用状态、工具生态和运行时约束。对研究者而言，它提供了一个更适合比较移动规划智能体的实验对象；对系统开发者而言，权限、错误恢复和状态同步不再是部署阶段才处理的细节；对用户而言，真正值得信任的个人副驾必须能在不确定环境中完成任务，而不是只在演示流程里表现流畅。

当然，仅凭摘要无法判断各模型的具体得分、任务分布或不同能力模块的相对贡献。更完整的论文和公开实验结果，仍是理解基准难度与复现结论所必需的材料。但从设计方向看，移动智能体的下一轮竞争，很可能不再是“谁更会点击”，而是“谁能在真实状态变化中稳定地把事情办完”。

Hugging Face Daily Papers