CLIFT：让网页智能体用可验证的自我反馈完成训练与测试时扩展

导语

网页智能体已经能够完成搜索、表单填写和跨页面操作等较复杂任务，但训练和部署仍有一个现实难题：任务最终是否成功，往往只能用一个稀疏的二元结果表示。这个信号很难告诉模型究竟是哪一步做对或做错了。若改用大型语言模型逐步担任裁判，又会带来较高调用成本，而且部署环境未必能够访问同类外部模型。

CLIFT（Conformal Self-Verification for Web Agent Training and Test-Time Scaling）提出了一条折中路线：让智能体自己为执行轨迹生成自然语言验证问题，再利用训练阶段获得的评判信息，筛选出较为可靠的自验证信号，并将其用于训练和测试时决策。

核心方法

• 把轨迹转化为验证问题。 智能体不只输出动作，还要回答与网页状态、访问URL和任务进展相关的问题。与单一的任务成败标签相比，这些问题可以提供更细粒度的中间反馈。
• 用保序校准过滤信号。 CLIFT中的Compositional Conformal Certifier会检查验证问题产生的证据，只有当其在URL条件下与训练期评判结果保持一致时，相关信号才会被保留。系统还根据信号的正负极性计算带符号的信任权重。
• 避免验证器反向拖累基线。 验证器得分被融合进逐步奖励，但设计上不会低于原有评判基线，从而降低不可靠自评估对训练过程造成负面影响的风险。
• 测试时进行轨迹选择。 在Conformal Trajectory Selection中，智能体先生成一条贪心轨迹，再产生一条或多条具有差异的重试轨迹。冻结的验证器对各条URL轨迹进行总结，并通过较保守的多数投票规则决定是否替换当前结果，全程不需要额外的外部裁判。

实验信号与意义

项目公告报告称，在WebArena Infinity上，Gemma-4结合CLIFT与CTS取得74.6%的成功率，在K=3时较基础模型提升12.8个百分点；在VisualWebArena上，将验证器 bank 迁移到冻结的GPT-5.5后，达到53.7%的加权成功率；在Online Mind2Web上，通过bank适配与重新校准、且不进行针对该基准的策略微调，达到61.0%的成功率，较GPT-5.5高努力设置高11.3个百分点。上述数字来自项目提供的结果，具体比较条件仍应结合完整论文和实验表格理解。

CLIFT的价值不只在于增加一次测试时采样，而在于尝试把昂贵的评判过程沉淀为可复用的验证知识。URL范围、问题极性和信任权重使验证信号具有一定结构，也为跨环境迁移提供了接口。不过，自验证仍可能受到网页状态理解错误、验证问题覆盖不足或环境变化的影响；校准机制能筛掉部分风险，却不能保证每条自评都正确。总体而言，CLIFT展示了一个值得关注的方向：让网页智能体把评判器提供的监督转化为长期可复用的证据，并在部署时以更低成本进行谨慎的轨迹选择。

来源：Hugging Face Daily Papers