TraceForge：没有隐藏思维链，也能蒸馏出适合学生模型的推理数据

导语

大模型蒸馏通常依赖“教师模型提供答案，学生模型学习答案背后的推理过程”。但在不少闭源模型中，用户只能拿到最终答案或简短解释，无法直接获得完整思维链。TraceForge试图绕开这一限制：它不去恢复或破解隐藏推理，而是让学生模型自己的生成器，根据上下文和教师答案重新写出一份推理轨迹。

核心方法

TraceForge的关键不是复制教师模型的内部思考，而是模拟学生模型“更容易学会的表达方式”。论文采用两阶段训练：

• 监督训练：训练生成器，让它从问题上下文与最终答案中，重建目标模型家族自身的推理轨迹。
• 对抗训练：训练一个批评器，判断候选推理是否像该模型家族真实生成的内容；生成器则据此改善输出。
• 候选筛选：针对同一个上下文和答案生成多个轨迹，再利用批评器挑选更具风格真实性的版本。

这一流程与直接调用教师模型输出思维链不同。教师模型只需提供任务上下文和答案，推理文本由学生模型体系内部合成。因此，方法的核心价值在于降低对隐藏思维链的依赖，而不是证明生成的每一步都复现了教师的真实推理。

实验结果怎么看

论文在五个基准上进行测试，并尽量固定其他条件。在真实性评估中，TraceForge生成轨迹的平均得分为0.68，真实轨迹为0.66；从四个候选中经过批评器筛选后，得分升至0.82。这里的分数衡量的是“看起来是否像真实轨迹”，不是正确率，也不能单独说明推理内容可靠。

在代码任务中，使用相同的5000道题目和相同的教师答案进行训练后，TraceForge生成的推理数据使HumanEval+提升3.7个百分点，MBPP+提升7.1个百分点。论文还指出，MBPP+上的优势在各个训练检查点都能保持。作者推测，推理轨迹若采用学生模型熟悉的家族风格，可能比直接搬运其他模型的思维链更容易被学生模型吸收。

意义与局限

TraceForge把蒸馏的重点从“拿到教师的隐藏思考”转向“为学生构造可学习的推理监督”。这为无法访问闭源思维链的模型训练提供了一条更合规、也更容易产品化的路径，同时说明推理数据的风格匹配可能与信息本身同样重要。

不过，现有结果主要集中在论文给出的基准和代码任务上。合成轨迹可能只是答案的事后解释，不能保证反映真实决策过程；批评器的真实性评分也可能与任务正确性脱钩。未来仍需验证这种方法在数学、知识问答和长链推理中的稳定性，并进一步区分“更像学生模型”与“真正提供了有效推理”之间的差别。

来源：Hugging Face Daily Papers