ClawLoop：让智能体在 Harness 环境中形成自我改进闭环

导语

当大语言模型从聊天窗口走进沙箱、文件系统和 Shell，智能体的训练对象就不再只是“会不会调用某个工具”，而是能否在开放式工作区中规划、执行、检查并修正一连串操作。针对这类 Harness-based agent，现有后训练流程往往依赖更强的外部模型生成任务和轨迹，训练通常只进行一次，评测结果也主要由研究人员人工解读。

Hugging Face Daily Papers 收录的 ClawLoop 试图把这条流程改造成一个可循环运行的系统，让智能体的表现反过来决定下一轮训练数据的方向。

核心机制

ClawLoop 由三个阶段组成：

• 任务合成：框架通过两类互补的任务构造方式，生成覆盖面更广的训练任务。随后结合能力诊断结果逐步提高难度，并通过不依赖智能体的检查与基于智能体的验证，筛除不合格或不可执行的任务。
• 训练更新：任务数据可用于监督微调（SFT）和/或强化学习（RL），使模型针对当前暴露出的薄弱能力进行更新。
• 诊断与反馈：系统分析智能体在任务中的 rollout 行为，形成能力分析报告，再将报告反馈给下一轮任务合成。

这意味着训练流程不再是“外部教师出题—目标模型训练—人工看结果”的单向管线，而是“执行—发现问题—生成针对性任务—再次训练”的闭环。框架的关键并不只是自动出题，而是让任务难度增长与模型实际失败模式相联系。

实验信息与边界

论文以 Qwen3.6-27B 作为循环中的模型，报告称 ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上都获得了持续改进。研究还将循环中筛选和迭代得到的任务迁移到 Qwen3.5-4B 与 9B，两个更小规模模型在这些基准上也取得提升。这个结果说明，任务质量的价值并不完全绑定于负责循环的模型规模。

不过，现有素材没有提供各项基准的具体分数、训练成本、循环次数或与其他方法的完整对比，因此不能据此判断 ClawLoop 在不同计算预算下的效率，也不能把“自我改进”理解为完全不需要设计与验证。任务过滤、奖励设定和诊断可靠性仍可能影响闭环质量。

意义与影响

ClawLoop 的价值在于把 Harness 智能体训练从一次性数据工程，推进到更接近持续优化的范式。对于需要操作代码仓库、文件和命令行环境的智能体，失败轨迹本身就是重要的数据来源。若诊断能够准确定位问题，后续任务就有机会从泛化练习转向针对性的能力补强。

更值得关注的是，框架把“评测”纳入训练回路：评测不再只是最终排名，而成为产生下一批数据的机制。未来，这类方法仍需要更透明的失败分类、独立评测和成本分析，才能验证闭环是否真的带来稳健提升，而不是仅仅适应自生成任务。

来源：Hugging Face Daily Papers