让浏览器智能体理解网页“是什么”，而不只是“说了什么”

导语

当浏览器智能体替用户搜索、填写表单或完成在线操作时，它看到的网页不只是信息来源，也可能是攻击载体。传统智能体通常把页面截图或文本直接交给大语言模型，再由模型决定下一步点击、输入或提交。问题在于，模型容易把网页上的诱导文字当成任务指令，从而使用本属于用户的权限，替第三方执行未经授权的操作。

题为《What It Is, Not What It Says》的论文提出 Intact，核心思路不是要求模型永远识别出恶意文本，而是让系统在模型之外恢复浏览器原本拥有的“语义边界”：一个元素能做什么，应由它是什么、来自哪里决定，而不是由它在页面上写了什么决定。

核心要点

• 用 GenTree 保存网页语义。 Intact 在未修改浏览器的情况下构建 GenTree，记录页面元素的来源、层级关系和能力。这样，页面上的按钮、输入框或链接不再只是混杂在上下文中的文字，而具有可追溯的身份与权限边界。
• 逐元素提供信息。 系统将 GenTree 中的元素逐个传给模型，让模型针对当前元素作决定，避免其他元素中的诱导文本同时影响计划。这个设计减少了“某段文字说服模型去操作另一个元素”的机会。
• 在模型外执行约束。 Intact 的执行框架会检查每一步是否符合目标元素本身的能力；当动作涉及第三方内容时，还会要求用户确认。模型即使被恶意页面说服，也不能任意扩大元素权限。
• 实验显示防护效果。 在 1270 个真实网页上，GenTree 识别出的第三方元素数量是浏览器原有归因结果的 2.3 倍；原有机制把其中 58.7% 错归为第一方。在其中 1091 个包含注入攻击的网页上，传统规划器让 73.1% 的攻击成功进入计划，而 Intact 只有 12.8% 的攻击进入规划，而且最多只能成为一次用户授权请求。隔离机制仅影响 3.7% 的任务功能，研究者还指出并行调度有望减少额外延迟。

意义与影响

这项工作把浏览器智能体的安全问题从“如何让模型更会识别提示注入”，推进到“系统如何限制模型能做什么”。对抗样本和恶意指令仍然可能影响模型的判断，但如果执行层能够识别内容来源、恢复元素能力，并在越权边界处阻断动作，单次误判就不必自动升级为真实操作。

这一思路也提醒开发者，截图式或纯文本式的网页接口会丢失大量安全相关信息。未来的浏览器智能体可能需要把来源、权限、交互类型等结构化语义作为模型输入的一部分，同时把高风险执行放在模型之外。Intact 并没有消除用户确认的需要，也不能保证所有攻击都被规划器提前过滤，但它展示了一条重要路径：让模型负责理解，让系统负责守住权限边界。

来源：Hugging Face Daily Papers