iPrefBench：移动智能体不只要会操作，还要懂得何时询问

导语

让智能体替用户操作手机，难点并不只是找到按钮、填写表单或跨应用执行步骤。现实中的请求往往并不完整：用户可能不会明确说明要给谁发消息、选择哪种偏好，或在多个合理选项中做出哪一个决定。此时，智能体既需要利用已有活动记录补全信息，也必须知道哪些信息不能擅自猜测，而应直接向用户确认。

iPrefBench 正是为检验这一能力提出的基准。论文将个人移动使用场景放入可执行的 iOS 环境，并配备可互动的模拟用户，考察智能体如何在“推断”和“询问”之间做出选择。

核心要点

• 围绕统一用户画像测试个性化。 基准包含一套连贯的用户画像，以及 3051 条过去的活动事件，帮助评估智能体是否真正利用了用户历史，而不是仅凭通用常识完成操作。
• 任务覆盖多个移动应用。 iPrefBench 收录 130 个信息不完整的任务，横跨 26 个应用。每个被省略的、依赖用户的要求，都被设计为两类之一：可以从历史中推断，或只能向用户询问。
• 同时衡量执行结果和交互行为。 评测不仅看智能体是否完成了界面操作，还看最终结果是否符合特定用户，以及它是否在缺少关键信息时及时寻求输入。
• 操作成功不等于任务成功。 对 7 个前沿智能体的评估中，最高动作完成率达到 91.6%，但最高完整任务成功率只有 47.7%。这说明智能体可能“做对了步骤”，却没有“替这个用户做对决定”。
• “该问什么”仍是突出短板。 论文指出，智能体尤其难以处理只能由用户提供的信息，往往没有提出足够的必要问题，或者在不应猜测时直接采取行动。

意义与影响

这项工作把移动智能体的评价重点，从 GUI 操作熟练度推进到用户代理能力。对于个人助理而言，过度询问会增加交互负担，完全不问又可能导致隐私、偏好或结果上的错误；真正可靠的系统需要判断信息来源的边界，并以尽可能少的问题补齐决策所需内容。

因此，iPrefBench 的价值不只在于提供一个新的分数，而在于拆解了个性化失败的原因：问题可能出在历史检索、偏好判断、任务规划，也可能出在交互时机。未来的移动智能体若要从“自动化工具”走向“个人代理”，就必须同时提升执行、记忆利用和澄清式对话能力。该基准也为比较不同智能体在这些环节上的差异提供了统一测试场景。

来源：Hugging Face Daily Papers