GRPO中的密集奖励，真的值得额外算力吗？

强化学习训练语言模型推理时，最常见的做法是只在最终答案正确时给出奖励。GRPO等方法通常将这一结果奖励平均分配给解题过程中的令牌。为了解决“中间步骤没有得到足够反馈”的问题，研究者提出了密集过程奖励，例如蒙特卡洛奖励：在某个步骤截断答案，再采样多个后续完成结果，以估计该步骤对最终成功的贡献。

表面上看，这类奖励更细致，也可能带来更强的学习信号。但问题在于，额外的学习信号并不是免费的。该研究指出，在其设置中，生成后续样本本身占全部生成令牌的91%。如果只比较每次参数更新后的准确率，或者只在一个批次上做逐令牌梯度测试，就可能把昂贵的额外计算隐藏起来。

研究如何比较

作者提出了匹配计算量的评估协议，同时约束两类资源：

• 生成令牌数量；
• 训练所消耗的GPU时间。

研究在预注册实验中进行了控制，并汇总了六个模型、1668次运行的结果。以Qwen2.5-1.5B为例，蒙特卡洛奖励按“每次更新”比较时领先标准GRPO；但在生成令牌相同的条件下，最终准确率低14.3个百分点，在训练时间相同的条件下低7.8个百分点。即使给予同等训练时间，四种密集奖励变体也没有超过标准GRPO。

逐令牌梯度测试能够正确排出不同奖励的大致顺序，却会将实际收益高估约1至2个百分点。换言之，这种测试的误差可能与它试图发现的提升本身一样大，因此不适合替代完整、等计算量的训练评估。

一个更简单的改进方向

研究还测试了另一种干预：优先训练模型预测成功率接近1/2的提示，也就是模型最不确定的题目。这一策略在匹配计算量下带来小幅收益：Qwen3-0.6B提升1.7个百分点，Qwen2.5-1.5B提升0.8个百分点；结果在新的随机种子和未见过的问题上得到复现。一个简单规则——候选提示被预测为失败的概率超过一半——还能在六项预注册测试中的五项预测其效果出现的位置。

不过，这些收益主要出现在训练早期。将标准GRPO的初始学习率提高一倍后，表现已经接近上述策略，差距不到半个百分点。这说明部分“新方法增益”可能来自训练节奏、样本分配或超参数，而不一定源于奖励设计本身。

意义与影响

这项工作并不是证明密集奖励在所有场景都无效，而是提醒研究者：强化学习方法必须把额外采样、生成令牌和训练时间计入比较。对于推理模型，复杂的过程奖励如果消耗了大部分预算，理论上更精细的信用分配未必能转化为更高的最终准确率。未来评估奖励函数、数据筛选策略或训练干预时，匹配计算量应成为基础标准，而不是事后补充。

来源：Hugging Face Daily Papers