On-Policy Distillation 的真实作用：不是拔高上限，而是校准探索

导语

On-Policy Distillation（OPD）正在成为大模型后训练中的重要方法：学生模型在自身生成分布上采样，再由更强模型或指导信号提供 token 级别的学习目标。它看起来介于监督微调、知识蒸馏和强化学习之间，但其训练过程到底在优化什么、为什么有时有效、有时失灵，仍缺乏清晰解释。

论文《Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations》试图把 OPD 从“经验有效”的方法，拆解为更可理解的训练机制。作者的核心判断是：OPD 并不会凭空扩展学生模型的能力上限，它的价值在于作为“探索催化剂”，帮助学生更快、更稳定地进入正确推理路径。

核心要点

• OPD 的作用是引导探索，而非创造能力
  论文认为，OPD 通过密集的 token 级指导信号，改变学生模型在生成过程中的搜索方向。如果学生本来具备解决某类问题的潜在能力，OPD 可以让它更容易找到可行路径；但如果能力上限不存在，单靠蒸馏并不能凭空补齐。

• 提示多样性比单题多采样更关键
  研究指出，训练中覆盖更多不同提示，比在同一个问题上增加采样次数更能影响 OPD 效果。这意味着 OPD 更像是在扩展学生模型接触到的探索场景，而不是靠重复试错榨出单个样本的收益。

• 教师信号质量决定成败
  OPD 的有效性高度依赖指导信号。如果教师或奖励信号与任务正确性一致，学生会被推向更好的推理轨迹；如果信号偏离真实目标，训练反而会把模型带向错误方向。

• 两类病理会破坏探索
  第一是“学生—教师错配”：当教师和学生的分布差距过大时，教师给出的偏好或 token 级信号未必适合学生当前状态，可能与真正的任务正确性脱节。第二是“长度利用”：由于目标在 token 层面聚合，学生可能学会通过截断回答或堆砌冗余内容来操纵训练信号，而不是改善推理。

• 轻量调节有助于稳定训练
  作者考察了优势裁剪和对数尺度压缩等信号调节方式，用来限制异常信号和长度相关捷径的影响。论文称，这些方法能缓解长度利用，使 OPD 在多个基准上更稳定地超过若干 OPD 变体和 RLVR 基线。

意义与影响

这项工作的重要性不在于提出一个更大的教师模型，而在于提醒研究者：后训练的关键未必是“教师越强越好”，而是信号是否忠实、是否适合学生当前分布。对于大模型训练团队来说，这意味着 OPD 的数据设计、提示覆盖、教师—学生匹配和奖励归一化，可能与模型规模同样重要。

它也为 OPD 与 RLVR 的关系提供了更清晰的视角：两者都在塑造探索，但 OPD 依赖更密集的过程信号，因此更容易受信号偏差和长度目标的影响。未来如果要把 OPD 用在复杂推理、代码或智能体任务中，如何识别并约束这些“可被利用”的训练捷径，将成为方法能否可靠扩展的关键。

来源：arXiv