ActionOPD：让小模型学习智能体的决策，而不只是复述 Token

导语

让小模型成为可靠的智能体，难点并不只是让它生成与大模型相似的文字。真正决定任务成败的，往往是它在某个状态下选择了什么：调用哪个工具、传入哪些参数、是否继续观察环境，或是直接结束任务。围绕这一问题，ActionOPD 提出一种新的智能体蒸馏思路：蒸馏教师的“决策”，而不是机械复制教师写出的每一个 Token。

从 Token 模仿转向语义动作

语言模型蒸馏通常以 Token 为基本单位。离线模仿学习可以提供密集监督，但训练数据中的状态主要来自教师轨迹；当学生逐渐形成不同的行为路径时，就可能遭遇状态分布不匹配。Token 级在策略蒸馏让学生在自己访问到的状态上学习，能够缓解这一问题，但通常需要教师提供 Token 概率，并且师生往往要共享或兼容分词器。

ActionOPD 将监督单位提升到“语义动作”层面。这里的动作可以理解为智能体在当前环境状态下做出的可执行决策，例如一次工具调用或一项交互操作，而不是组成文本的单个 Token。训练时，学生先按照自己的策略访问状态；在这些学生实际遇到的状态上，系统分别从学生和黑盒教师中采样动作，再根据两者在语义上的一致程度为学生动作赋予反馈，随后通过策略优化更新模型。

核心要点

• 面向学生状态训练：监督发生在学生真实访问到的状态上，减少只模仿教师轨迹带来的分布偏移。
• 以动作而非文字为中心：不要求学生复现教师的推理措辞、表达顺序或完整回答，只关注决策是否相符。
• 兼容黑盒教师：教师不必暴露 Token 概率，师生也不需要属于同一模型家族或使用相同 Tokenizer。
• 适合工具使用场景：动作级表示更贴近 API 调用、环境交互和多轮任务中的实际执行单位。

实验信号与意义

论文在多样化、经过整理的工具使用任务上，使用两个教师训练 Qwen3-4B 与 Qwen3-8B，并在四个分布外基准上进行评估。结果显示，ActionOPD 带来了平均 3.3 至 6.9 个百分点的提升；论文还报告称，该方法会随学生规模和教师能力提升而获得较好的扩展表现。

这项工作的价值在于重新界定了智能体蒸馏的目标。对于普通文本生成，逐 Token 对齐仍然有其用途；但对需要与环境反复交互的智能体而言，教师的表面语言并不一定是最值得继承的知识。学生可能用不同的措辞、不同的推理路径，仍然做出同样有效的动作。将蒸馏目标放在决策层，有望降低教师接口要求，也为跨模型家族、跨分词器的智能体迁移提供更灵活的方案。

当然，动作语义如何定义、不同动作之间的相似性如何衡量，以及黑盒教师采样带来的噪声如何控制，仍是这类方法需要持续研究的问题。ActionOPD 的启发是明确的：训练智能体时，与其要求小模型背下教师说过什么，不如优先让它学会在关键状态下做出正确选择。

来源：Hugging Face Daily Papers