返回文章列表
模型评测

CLE:现有大模型距离真正的持续学习还有多远?

阅读约 3 分钟

导语

今天的大模型评测大多在回答一个问题:模型能不能把眼前的任务做好。但对需要长期工作的智能体而言,更关键的问题是:它能否从过去的成功和失败中提炼经验,并在下一次任务中稳定地用出来?Continual Learning Exam(CLE)正是为此设计的基准,试图把“会做题”与“会成长”区分开来。

CLE测什么

CLE由50多位领域专家参与构建,包含120项面向真实职业场景的任务。每项任务被组织成五个递进等级,共计600个等级,覆盖89种职业和12个职业领域。评测环境还包含约2.4万个真实世界文件、19个有状态应用,以及超过1.6万条由人工编写的评判标准。

它的核心设计类似一条任务阶梯:智能体只有通过当前等级,才能解锁下一个等级。后续任务并非简单提高难度,而是要求系统复用早先形成的知识、工作策略和技能。因此,单次输出质量只是起点,能否保留经验、纠正错误并迁移方法,才决定它能走多远。

每次提交由评测智能体依据人工制定的标准进行判断。研究者同时比较了两种情形:一次提交后直接结束,以及失败后获得诊断反馈并进行一次修订。后者更接近真实工作流中的“执行—复盘—改进”循环。

主要结果

  • 研究比较了17组前沿模型与智能体框架配置。
  • 加入反馈和一次修订后,完成率的中位数提升了5.3个百分点。
  • 最强系统的等级完成率为47.7%,意味着超过一半的关卡仍未通过。
  • 它完成全部五级任务阶梯的比例只有23.3%。

这些数字说明,当前系统可能能够在局部任务上表现出色,却未必能把局部经验转化为持续、可靠的长期能力。反馈有效,但提升幅度有限;一次纠错也不能自动带来跨阶段的学习。

意义与影响

CLE的重要性在于,它把记忆、技能复用、经验迁移和递归式自我改进放进了同一个可验证框架。对于智能体研究者来说,基准不仅能检验模型是否完成任务,还能观察系统如何积累上下文、处理失败,并在复杂职业流程中逐级前进。

当然,CLE的成绩不能简单等同于模型在所有现实工作的表现。评测结果还会受到工具使用、智能体编排、反馈机制和评估智能体判断的影响。但正因为任务包含真实文件、状态变化的应用和人工标准,它比单轮问答更接近长期部署所面对的问题。

从研究用途看,CLE也可以被用于后训练,帮助模型学习如何记录经验、提炼可迁移技能,并在后续任务中调用这些知识。当前结果传递出的核心信号很明确:大模型已经越来越擅长完成单个任务,但距离真正“越做越好”的长期智能体,仍有一段可量化、也相当漫长的距离。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
AgentProofBench:把 Web 智能体的验证结果与实际执行连接起来
模型评测
cctest.ai
模型评测

AgentProofBench:把 Web 智能体的验证结果与实际执行连接起来

AgentProofBench 提出了一套面向可复用验证器的 Web 智能体基准,将固定验收规则的测试结果与后续执行表现配对分析。实验显示,验证器在需求层面的正确性,与智能体能否在真实部署状态下完成任务密切相关。

阅读全文