预测得像真的，还不等于做得安全：网页世界模型的新评估框架

导语

网页智能体在点击、提交、购买或修改设置之前，越来越依赖“世界模型”预测操作后果。传统评估往往关注预测是否符合常识：未来页面是否合理、状态变化是否连贯。但在安全场景中，合理叙事只是起点。真正重要的是，模型是否保留了足以支撑授权决策的证据，并能据此判断某项操作应当执行（EXECUTE）、先向用户澄清（ASK），还是直接阻止（BLOCK）。

发表于 arXiv 的论文《Beyond Plausible Prediction: Safety Sufficiency in Web World Models》正是围绕这一缺口展开。研究者将这种能力称为“安全充分性”（safety sufficiency）：预测接口不能只生成一个可信的未来，还必须暴露影响策略判断的关键信息。

核心发现

• 语义合理不代表安全判断正确。 研究对十个冻结的开源模型生成的3000条预测进行匹配人工评估，其中86.1%被认为在语义上合理。然而，论文强调，这一比例不能直接转化为可靠的授权能力。
• 模型可能以“过度拦截”换取表面安全。 一些模型的错误放行率较低，但对本应请求澄清的ASK案例召回不足，同时明显偏好BLOCK。这样的系统看起来谨慎，却可能损害任务完成率，也无法正确处理权限、意图或上下文仍不明确的操作。
• SafeWebWorld把评估拆成三层。 该基准覆盖五类网页安全场景，分别考察模型能否生成与动作相关的未来、保留策略决定性证据，以及在给定策略下作出授权决策。相比只看文本是否连贯，这种设计更接近真实的安全控制链路。
• 训练改善证据保留，却可能伤害授权表现。 在受控的安全对齐监督微调协议下，模型保存相关证据的能力可以明显提升，但对授权敏感的决策指标反而下降。这说明“看见更多信息”和“用正确方式作决定”并非同一能力。
• 可校准性不等于稳健性。 研究引入 Latent Authorisation Recovery（LAR），测试冻结模型分数经过重新校准后能否恢复授权信号。结果显示，部分骨干模型存在较大的恢复空间，但收益依赖模型架构；配对恢复带来的额外提升有限。进一步的同系列和匹配授权评估仍然较差，说明总体分数可恢复，并不意味着模型具备稳定的细粒度授权能力。

为什么这项工作重要

对网页智能体而言，安全失败不只有“危险操作被放行”一种形式。把可澄清的请求一律拦截，会让系统变得僵硬；把缺少关键信息的动作当作可以执行，也可能造成更严重的后果。因此，评估体系必须同时关注假安全执行、ASK案例识别、证据完整性和决策边界，而不能只报告一个总体准确率或未来预测质量。

这项研究还提醒开发者谨慎解读安全对齐结果。微调后模型能够更完整地描述页面状态，并不代表它更理解授权政策；输出分数经过校准后看似改善，也不代表模型在新的、相近的案例中仍能保持一致。对于实际部署，预测模块、证据提取模块和授权读出模块需要被分开测试，并接受跨场景、同系列和匹配条件下的验证。

总体而言，论文把问题从“模型能否预测一个像真的未来”推进到“这个未来是否包含足够信息来支持安全决策”。这一区分将成为评估网页智能体和其他行动型模型时的重要基线。

来源：arXiv