SteerDistill：让低比特智能体在失败中学会修正

导语

低比特量化是降低大语言模型智能体部署成本的重要手段，但智能体任务比普通文本生成更脆弱：一次遗漏任务约束、误判环境状态，或错误调用工具，都可能让后续轨迹偏离正确路径。SteerDistill关注的正是这一类“局部行为错误”，尝试把全精度模型的判断转化为量化学生模型可以独立执行的能力。

核心方法：从失败轨迹出发的闭环修正

论文观察到，量化智能体失败时，问题通常不只是最终答案质量下降，而是某个中间决策改变了环境状态，使后续步骤无法挽回。传统离线蒸馏可能没有覆盖学生真正会失败的上下文；而直接依赖学生自身生成正确答案，又会受到其低比特能力限制。

SteerDistill采用以下流程：

• 先定位失败行为：运行量化学生模型，观察它在哪个响应或环境转移处偏离成功参考轨迹。
• 教师指导重试：冻结的BF16全精度教师根据失败上下文，指导学生重新生成相关响应。
• 利用执行反馈迭代：重新生成的行为还要放回环境中验证。如果仍未解决问题，教师会结合新的执行结果继续调整指导，直到得到局部可验证的修正。
• 移除外部指导：在上下文蒸馏阶段，学生学习修正回合中“被引导学生”的预测；其他回合则学习全精度教师的预测。这样，最终模型推理时不需要教师或额外 steering prompt。

这一设计的关键不在于让教师生成一条完整示范轨迹，而是针对学生实际暴露出的错误进行局部干预，并通过环境执行确认干预是否有效。它把“看起来合理”的文本监督，变成了与任务状态直接相关的行为监督。

实验结果与意义

论文在五个智能体基准和三种模型上进行评估。在W4A16设置下，SteerDistill的平均得分比最强量化基线高1.67至2.18个百分点，并与BF16模型的差距控制在一个百分点以内。在τ²-Bench上，它的成功率比QeRL高1.84个百分点，同时训练GPU小时数减少67%，成功轨迹也更短。针对Qwen3-8B的W2A16实验中，SteerDistill在测试量化基线中取得最高平均分。

这些结果说明，量化损失并不完全等同于模型“知识”丢失，部分问题可能来自关键决策上的行为偏移。若能在真实失败上下文中及时定位并修正，这些偏移可以通过蒸馏被重新写回学生模型。

当然，该方法仍依赖全精度教师和环境执行反馈，训练阶段并非没有额外成本；它的效果也与任务是否可验证、失败是否能被局部修正密切相关。对需要工具调用、状态转换和长链路决策的智能体而言，SteerDistill提供了一条值得关注的路线：把量化后的模型从“模仿答案”推进到“修正行为”，并最终实现无教师运行。

来源：Hugging Face Daily Papers