LLM置信度估计或许不用额外训练：RL Critic已经知道答案

导语

让大语言模型知道“自己有多确定”，是可靠部署中的关键能力。现有做法通常需要额外收集带有正确性标注的数据，再训练一个自评估模块或外部置信度模型。这意味着更多的数据准备、训练成本和系统复杂度。arXiv论文《Free Lunch for LLMs Confidence: The RL Critic Already Knows》提出了一个更直接的思路：如果模型已经接受过价值型强化学习训练，那么它身边的RL Critic可能早已具备置信度估计所需的信息。

核心要点

• 置信度与价值函数可以是同一个预测问题。 在以答案是否正确作为结果信号的设置下，置信度估计要回答的是：给定问题以及模型已经生成的轨迹，最终响应答对的概率是多少。强化学习中的Critic同样在估计当前轨迹对应的未来结果，因此两者在目标上等价。
• 不必读取策略模型的内部表示。 论文比较了自评估模型和外部估计器。结果表明，只要外部模型看到策略模型的行为轨迹，并使用问题、响应和正确性组成的训练样本，就能达到与策略自身相近的置信度估计效果。这说明，置信度未必依赖模型内部的特殊“自知”表征。
• 现有Critic可以直接复用。 对采用价值型RL训练的LLM而言，研究建议把已有Critic作为开箱即用的置信度模块，不增加专门的训练阶段或额外数据。由于策略本身不变，复用Critic不会直接牺牲任务性能。
• 可覆盖生成过程中的中间步骤。 Critic不仅能在完整回答结束后给出判断，还能对生成过程中的中间推理轨迹提供估计，为提前发现低可信步骤、触发复核或调整后续策略提供可能。

实验与意义

论文覆盖数学、代码、工具调用和通用推理等任务，涉及多个领域。根据作者报告，复用的Critic在所有分布内测试划分上都是表现最好的置信度估计器，并在16项校准测试中的14项取得最佳结果。这里的重点不只是一个新的评测模型，而是对系统架构的重新认识：置信度模块可能并非必须独立建设，而可以成为强化学习价值估计能力的直接应用。

这一结论对工程部署尤其有吸引力。开发者可以利用已有的策略—Critic组合，为回答增加风险分层、人工复核或工具调用门控，而不必重新训练主模型。不过，论文结论聚焦于价值型强化学习和正确性结果信号，不能自动推广到所有LLM，也不能据此断言Critic在分布外场景中同样可靠。实际系统仍需关注奖励设计、校准稳定性以及新任务与训练分布之间的差异。

如果这一思路在更广泛的设置中成立，未来的LLM安全机制可能更多依赖已有训练组件的再利用，而不是不断叠加新的置信度训练流程。

来源：arXiv