Android GUI Agent 的脆弱性：AnTrap 如何测试运行时异常

导语

移动端 GUI Agent 看似只需识别屏幕并执行点击、输入或滑动，但真实 Android 环境并不会按照静态基准的节奏运行。意外弹窗、页面状态变化、动作没有生效，甚至前一步操作留下的隐性影响，都可能让智能体偏离原本的任务轨迹。论文《Are Android GUI Agents Robust Against Runtime Anomalies?》提出 AnTrap，试图把这些动态干扰变成可重复、可比较的评测条件。

核心要点

• 从静态任务转向动态轨迹。 AnTrap 不只检查最终结果，而是在智能体执行过程中注入运行时扰动，并尽量保持任务仍然可完成，从而观察模型能否发现异常、恢复状态并继续行动。
• 建立四层异常 taxonomy。 研究将问题划分为 State、Thinking、Action 和 Round 四个层级，再细分为十个子类别。它既覆盖界面状态层面的变化，也关注模型判断、具体动作以及多轮执行过程中的错误累积。
• 模型并非只在感知环节失误。 评测 16 个 GUI 模型后，作者观察到动态异常会造成普遍的性能下降。即使表现较强的模型，也可能在异常出现后继续沿用过时的页面假设，或采取不再适用的动作。
• 区分可学习陷阱与推理瓶颈。 论文使用 GRPO，分别在原始环境和加入异常的环境中训练智能体。结果显示，状态和动作层面的部分单步陷阱可以通过对抗式强化学习得到改善；但需要理解更长上下文的异常，尤其是状态死锁，并不能仅靠在“有陷阱”的环境中继续训练解决。

意义与影响

AnTrap 的价值不只是增加了一个排行榜，而是提醒研究者重新定义移动端 Agent 的可靠性：完成一条理想路径，并不等于能在真实设备上持续工作。对开发者而言，异常恢复、状态重新确认和行动后验证应成为执行闭环的一部分，而不是任务失败后的补救机制。对评测设计者而言，保留任务可解性同样重要，否则测试结果可能只反映环境是否被破坏，而非智能体的适应能力。

更值得关注的是，论文把“训练能否解决”与“模型是否具备更深层推理能力”区分开来。短期看，对抗环境和强化学习可以提升 Agent 对常见干扰的适应性；长期看，系统仍需要更好的状态记忆、因果判断和恢复策略，才能处理跨步骤、强上下文的运行时异常。AnTrap 因而为 Android GUI Agent 从静态演示走向真实部署提供了一项更具压力的检验。

来源：Hugging Face Daily Papers