返回文章列表

LLM置信度估计或许不用额外训练:RL Critic已经知道答案

阅读约 3 分钟

导语

让大语言模型知道“自己有多确定”,是可靠部署中的关键能力。现有做法通常需要额外收集带有正确性标注的数据,再训练一个自评估模块或外部置信度模型。这意味着更多的数据准备、训练成本和系统复杂度。arXiv论文《Free Lunch for LLMs Confidence: The RL Critic Already Knows》提出了一个更直接的思路:如果模型已经接受过价值型强化学习训练,那么它身边的RL Critic可能早已具备置信度估计所需的信息。

核心要点

  • 置信度与价值函数可以是同一个预测问题。 在以答案是否正确作为结果信号的设置下,置信度估计要回答的是:给定问题以及模型已经生成的轨迹,最终响应答对的概率是多少。强化学习中的Critic同样在估计当前轨迹对应的未来结果,因此两者在目标上等价。
  • 不必读取策略模型的内部表示。 论文比较了自评估模型和外部估计器。结果表明,只要外部模型看到策略模型的行为轨迹,并使用问题、响应和正确性组成的训练样本,就能达到与策略自身相近的置信度估计效果。这说明,置信度未必依赖模型内部的特殊“自知”表征。
  • 现有Critic可以直接复用。 对采用价值型RL训练的LLM而言,研究建议把已有Critic作为开箱即用的置信度模块,不增加专门的训练阶段或额外数据。由于策略本身不变,复用Critic不会直接牺牲任务性能。
  • 可覆盖生成过程中的中间步骤。 Critic不仅能在完整回答结束后给出判断,还能对生成过程中的中间推理轨迹提供估计,为提前发现低可信步骤、触发复核或调整后续策略提供可能。

实验与意义

论文覆盖数学、代码、工具调用和通用推理等任务,涉及多个领域。根据作者报告,复用的Critic在所有分布内测试划分上都是表现最好的置信度估计器,并在16项校准测试中的14项取得最佳结果。这里的重点不只是一个新的评测模型,而是对系统架构的重新认识:置信度模块可能并非必须独立建设,而可以成为强化学习价值估计能力的直接应用。

这一结论对工程部署尤其有吸引力。开发者可以利用已有的策略—Critic组合,为回答增加风险分层、人工复核或工具调用门控,而不必重新训练主模型。不过,论文结论聚焦于价值型强化学习和正确性结果信号,不能自动推广到所有LLM,也不能据此断言Critic在分布外场景中同样可靠。实际系统仍需关注奖励设计、校准稳定性以及新任务与训练分布之间的差异。

如果这一思路在更广泛的设置中成立,未来的LLM安全机制可能更多依赖已有训练组件的再利用,而不是不断叠加新的置信度训练流程。

来源:arXiv

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
FewStepRL:让少步扩散模型也能高效进行强化学习微调
强化学习
cctest.ai
强化学习

FewStepRL:让少步扩散模型也能高效进行强化学习微调

腾讯混元团队提出 FewStepRL,将多种扩散模型强化学习目标系统地改写为适用于少步采样器的形式。研究表明,可微且梯度成本可控的奖励更适合梯度型方法,而 DiffusionNFT 风格方法在其他场景下也能较快获得较高奖励。

阅读全文