返回文章列表
AI 智能体

LEASH:让弱模型决定何时升级,并持续约束强代理

阅读约 3 分钟

导语

计算机使用代理正在从简单问答走向跨应用、长步骤的操作任务。此类任务如果始终调用前沿模型,性能通常更有保障,却会带来较高的推理费用;如果完全依赖小型开放权重模型,又可能在复杂界面、连续决策或异常状态下失误。LEASH试图在两者之间建立一套更精细的协作机制:让弱代理默认执行,把强代理当作按需启用的资源,而不是全程在线的“主驾驶”。

核心方法

LEASH的关键不只是“失败后换模型”,而是把不确定性估计嵌入代理运行过程,并形成三个层次的控制:

  • 任务级路由:在任务开始时,系统先判断任务是否可能超出弱代理的能力范围,用于尽早决定是否需要强模型介入。
  • 步骤级升级:弱代理执行每个动作时,系统利用生成动作过程中已经产生的隐藏层激活,估计当前状态的不确定性。因而无需额外前向计算,也不需要单独训练一个监控器。
  • 接管后的监督:强模型通常通过黑盒API提供,外部无法直接读取其内部状态。LEASH让弱模型充当“影子观察器”,继续从可见的环境变化和行为轨迹判断强代理是否迷失,必要时再次触发控制。

其不确定性信号来自隐藏状态与历史轨迹的比较。研究者将当前状态分别与过去成功和失败轨迹中的表示进行匹配;如果当前状态更接近失败样本,就意味着代理更可能处于不可靠区域。这个思路把代理已有的内部表征转化为轻量级风险指标,避免了为每个任务另建专用不确定性模型。

实验与意义

论文在OSWorld上使用四种当代模型骨干进行评估。摘要显示,在相同升级比例下,LEASH相较随机升级提升了6.55至11.94个百分点,并持续优于单独使用弱代理的方案。在Qwen3.5-35B-A3B配置中,它取得73.66%的任务成功率,每个任务成本为0.4117美元;这一成功率接近始终使用Claude Opus 5的72.90%,同时推理成本降低19.2%。

这些结果说明,代理系统的成本优化不一定要牺牲可靠性,关键在于把强模型调用从固定策略变成风险驱动策略。更值得注意的是,LEASH将“升级”和“监督”视为两个不同问题:强模型被调用并不代表后续步骤必然正确,因此接管之后仍需要一个外部的、可持续的纠错机制。

影响与局限

LEASH为计算机使用代理提供了一种相对实用的工程范式:小模型负责高频、低风险操作,强模型处理少数困难节点,观察器则承担运行时安全边界。由于框架不要求额外训练,理论上更容易迁移到不同代理和模型组合中。

不过,隐藏状态与历史轨迹的相似度是否能稳定反映真实风险,仍会受到任务分布、失败样本质量以及环境可观测性的影响。强模型以黑盒形式运行时,影子观察器也只能依据外部行为作判断。因而,LEASH更像是一种降低成本并增强控制力的调度框架,而不是对代理正确性的绝对保证。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
固定模型也能持续进化:Harness RSI 为智能体搭建自我改进框架
AI 智能体
cctest.ai
AI 智能体

固定模型也能持续进化:Harness RSI 为智能体搭建自我改进框架

一篇来自 Hugging Face Daily Papers 的长篇研究讨论了 Harness 自我进化:在不更新基础模型权重的前提下,持续改写智能体的提示词、记忆、工作流、工具和运行逻辑。论文还从进化优化与持续 PAC 学习角度分析了更新的可靠性。

阅读全文