模型变弱反而更强：WISD让推理模型在没有外部教师时自我蒸馏

导语

推理模型的进一步提升，通常需要更强的教师模型、人工标注答案，或能够判断推理过程优劣的额外信息。但在只有未标注提示词的场景中，这些条件并不容易获得。来自 Jet-AI 的研究提出 Weakening-Induced On-Policy Self-Distillation（WISD），给出了一个颇为反直觉的思路：不再设法制造更强的自教师，而是主动把原模型“变弱”，再利用强弱模型之间的差异促进原模型学习。

核心方法

WISD围绕原始推理模型构造一个能力较弱的副本。目前论文探索了两种方式：

• 低比特量化：降低模型参数的数值精度，形成量化版本；
• 幅度剪枝：移除部分幅度较小的参数，得到结构或能力受限的版本。

随后，研究者比较原模型与弱化副本在推理任务中的表现和输出差异，把这种对比转化为训练信号。与依赖“更强教师”提供答案或偏好标签的蒸馏方法不同，WISD不要求外部教师，也不需要特权信息，因此更适合只有未标注提示词的设置。其“on-policy”特点则意味着训练信号建立在模型自身推理行为的基础上，而不是完全依赖预先准备的示范数据。

实验结果

论文在数学和代码推理任务上，覆盖不同架构与规模的模型进行评估。整体来看，量化方案相对原模型平均提升4.0个百分点，剪枝方案平均提升5.5个百分点。具体结果显示，剪枝将 Qwen3.5-4B 在 HMMT 2025 上的准确率从57.7%提高到70.5%，在 LiveCodeBench v6 上从39.1%提高到56.7%。量化则将 Qwen3.6-35B-A3B 在两个基准上的准确率分别从68.5%和61.8%提升至74.6%和69.5%。

意义与影响

WISD的价值不只是提出一种新的蒸馏变体，更在于重新定义了“教师”的来源：模型自身的受损版本也可以提供有用的对照信号。量化和剪枝本来常被视为压缩与部署手段，论文则展示了它们在训练阶段的另一种用途。

不过，现有素材主要提供了方法概述和汇总结果，尚不足以判断不同量化位宽、剪枝比例或训练配置对效果的具体影响，也不能据此断言该方法在所有任务上都稳定有效。未来，WISD是否能扩展到更广泛的模型、任务和更严格的推理评测，仍值得进一步观察。

来源：Hugging Face Daily Papers