WEFT：工具调用后训练不能只扩展环境

导语

让大模型学会使用工具，难点并不只是提供更多API或可执行环境。一个完整的智能体交互系统还包括任务设计、运行框架和结果评估。如果这些环节彼此不匹配，环境数量增加后，模型得到的训练信号仍可能不稳定，甚至会把任务、工具或评估器的问题误判为模型能力不足。

Hugging Face Daily Papers介绍的WEFT（Whole-system Evolution For Tool-use Post-training）试图解决这一问题。它不把工具调用后训练看作单一的环境扩展，而是将环境、任务、智能体运行框架和评估器放在同一套可演化系统中处理。

核心方法

• 扩展完整的交互组合。 WEFT构建了8,172个可执行MCP、64,755个工具和41,695个经过认证的原子任务，进一步组合出11,884个任务，任务中位长度为20个原子任务轮次。任务覆盖多个MCP和多个领域，增强了长流程与跨域操作的训练场景。
• 引入多样的交互方式。 同一任务既可以作为完整需求交给智能体自主完成，也可以由模拟用户逐步提出。系统还使用ReAct、OpenClaw和Hermes等原生运行框架收集轨迹。在任务集合固定时，加入Agentic与SimUser混合数据，使WEFT-35B-A3B平均提升3.18个百分点；加入不同运行框架后，在多个基准上的平均增益进一步达到9.71个百分点。
• 让执行结果反过来改进系统。 一次失败不一定是模型策略错误。WEFT结合工具调用轨迹、检查点、数据库和工作区变化，区分策略、环境、任务与验证器问题，再针对责任组件进行修改，并用新的执行结果验证修改效果。三轮自我演化后，选定教师轨迹中的工具调用错误率从1.76%降至0.96%，Toolathlon-Verified、AutomationBench和Claw-Eval分别提升5.25、4.33和3.65个百分点。
• 稳定长流程后训练。 前缀保留采样会保留已经验证的进展，只从失败的原子任务重新尝试；原子轮次信用分配则在相同历史和状态下比较候选片段，把奖励归因到当前任务。训练前，WEFT还利用语言模型检查任务与可执行验证器的一致性，但强化学习阶段仍使用可执行奖励。
• 用MegaMCP管理并发状态。 MegaMCP将可复用工具服务置于智能体沙箱之外，同时为每次运行保留独立、可恢复的数据库和工作区。快照支持重试与分支，避免重复执行已完成步骤。在1,000个任务的实验中，沙箱上传量从773.5 MiB降至34.8 MiB，减少95.5%。

意义与影响

WEFT的主要启示是，工具使用能力的规模化训练更像一个系统工程，而不是简单堆叠环境数量。任务是否可完成、交互是否自然、运行框架是否适配，以及验证器能否准确反映完成状态，都会决定训练信号的质量。

这种设计尤其适合多步、跨工具和需要中途恢复的工作流。通过保留有效前缀、细化奖励归因并隔离运行状态，训练系统可以减少整条轨迹作废的浪费。与此同时，执行轨迹不仅用于产生样本，也成为诊断和迭代整个交互系统的依据。不过，素材提供的结果主要来自论文所述模型、任务集合与基准，能否迁移到其他模型和真实生产环境，仍需要进一步验证。

来源：Hugging Face Daily Papers