不只看答案对错：新研究拆解 SFT、RL 与 OPD 如何改变推理置信度

导语

大语言模型的推理能力提升，往往被归因于监督微调（SFT）、强化学习（RL）和 on-policy distillation（OPD）等后训练技术。但在很多评测中，研究者主要关心一个结果：最后答案是否正确。来自 arXiv 的这篇论文则把问题换了一个角度：模型在推理过程中表现出的“置信度”，究竟在什么时候可信？不同后训练方式会怎样改变这种可信度？

论文提出，一个推理模型的置信度不应被当成单一指标使用，而应该分阶段、分位置理解。尤其在数学推理场景中，同一条思维链的早期、中段和后期，置信度与最终正确性的关系可能完全不同。

核心要点

• 三阶段校准框架：作者将置信度评估拆成三个阶段：生成思维链之前，用于估计题目难度；生成思维链过程中，用于判断是否可以提前停止；生成完成之后，用于在多条推理轨迹中做答案聚合。
• 不同后训练方法各有强项：在受控数学推理基准比较中，OPD 在推理前的置信度更有用，适合帮助模型判断问题难度；SFT 在推理中的在线信号更强，更适合早停；RL 则在完整推理轨迹层面的信号更可靠，适合做答案聚合。
• 置信度具有位置依赖性：研究指出，RL 的置信度并不是一开始就可靠，而是在模型完成某种“路径承诺”之后才更有信息量；OPD 的置信度在早期有价值，但到后期可能出现反向校准，即高置信度反而不再代表更可能正确。
• PosConf 的思路：基于上述发现，作者提出位置感知置信度策略 PosConf，只在相对位置上被验证为可靠的区间使用置信度信号，而不是机械地使用整条推理链的所有置信度。

意义与影响

这项研究的价值在于，它把“模型会不会做题”推进到“模型什么时候知道自己会不会做题”。对于需要多次采样、答案投票或预算受限推理的系统来说，这一点非常关键。论文显示，PosConf 在 RL 答案聚合中相较多数投票提升 6.1 个点；在紧张 token 预算下，它也能通过避开 OPD 后期的反向校准区域，稳定改善早停效果，最高提升 4.3 个点。

更广泛地看，这提示开发者在使用推理模型时，不能把置信度当成一个随时可用的全局质量分数。后训练会改变模型的行为模式，也会改变置信度和正确性之间的对应关系。未来评测推理模型，除了最终准确率，还应关注置信度在不同阶段、不同位置的可靠性。对于实际应用中的成本控制、风险识别和多路径推理聚合，这类位置感知的校准方法可能会成为重要工具。

来源：arXiv