导语
在智能体训练中,任务做对了,并不代表过程值得模仿。一次成功的操作轨迹也可能包含没有依据的假设、无效重复,或只是表面上确认结果。若训练只依据最终成败筛选示范,这些行为也可能随成功样本一起被模型学到。AutoMaster关注的正是这个问题:能否不更换教师模型,而是先改善它展示任务的方式?
从“挑成功样本”到“塑造示范行为”
论文提出Skill-FT(技能引导微调),用自然语言技能影响教师模型生成轨迹。技能指令的目标包括压制不理想习惯,并促使模型展现数据中较少出现、但有效的行为。随后,目标模型使用这些经过引导的轨迹进行监督微调。
AutoMaster把这一过程组织成自动化循环:分析已有轨迹中的行为模式,编写并调整技能,选择有价值的示范,再根据新的教师轨迹和目标模型评估结果继续修订。由此,改进重点不只是“哪些成功案例被选中”,也包括“这些案例是怎样完成任务的”。
实验结果与值得注意的细节
研究在Terminal、Search和软件工程任务上测试了4B与9B目标模型。与基于成功、未受引导的教师轨迹进行常规SFT相比,AutoMaster的平均表现提高1.42至8.99个百分点。论文强调,教师模型、任务池、训练集规模和SFT方案保持不变,因此比较主要聚焦于示范行为经过引导后的差异。
另一项发现涉及训练时是否保留技能指令。即使评测阶段不提供这些指令,训练中保留它们仍在六种设置下都优于移除指令;摘要报告的优势为2.15至4.01个百分点,而监督输出相同。这个结果提示,指令上下文可能参与了行为模式的学习,而不只是生成数据时的临时提示。
意义与边界
AutoMaster提供了一种不同于单纯扩充数据或筛选成功轨迹的后训练思路:先明确希望智能体少做什么、更多做什么,再让教师生成相应示范。这对需要多步操作的代理任务尤其有启发,因为过程质量往往和最终答案同样重要。
不过,现有材料呈现的是若干任务与模型规模上的实验结果,不能据此断言技能引导对所有任务都有效,也不能把提升直接等同于长期、稳定的行为内化。后续仍需观察不同技能设计、任务分布及评测方式下的表现。更稳妥的结论是:训练数据的行为质量值得单独设计,而成功标签本身并不足以说明一条轨迹是否适合作为教材。
评论
正在确认登录状态……
正在加载评论……