Outcome RL究竟买来了什么：更会收尾，更可靠，但很少触及新能力

导语

Outcome RL通常被概括为“提升模型推理能力”的方法，但pass@1的变化并不一定意味着模型学会了全新的解题知识。它还可能只是更早停下来、少在预算耗尽前失去答案，或在已经完成推理后更稳定地给出正确结果。论文《What Outcome RL Buys: Finishing, Reliability, Rarely Reach》正是试图拆开这些因素。

研究者在物理和数学任务上，以固定Token预算比较20个公开发布的RL模型及其训练起点模型，模型规模覆盖1.5B至32B。分析同时使用多次采样，避免把一次偶然答对误判为新能力。

三种变化

研究将pass@1的变化分为三部分：

• 完成（Finishing）：模型是否在预算用尽前给出答案。若基础模型经常“想得太久”，RL模型可能仅仅是更善于收尾。
• 可靠性（Reliability）：两者都完成答案后，RL模型是否更常答对。这更接近解题过程或答案判断的稳定化。
• 触达（Reach）：RL模型解决、而基础模型在八次尝试中全部失败的问题，减去基础模型能解决但RL模型八次全部失败的问题。

主要发现

最显著的结论是，基础模型经常撞上Token上限时，性能变化主要来自完成能力。在4k和8k预算下，相关变化中约82%可归因于更好地完成答案；而当提供更多Token后，基础模型自身会缩小大部分差距。这意味着，某些RL收益更像是推理节奏和停止策略的改进，而非知识增量。

如果基础模型本来就有足够时间完成任务，RL带来的提升则更多体现为可靠性：即使两种模型都输出了答案，RL模型也更容易得到正确结果。不过，这仍不等于它获得了大量全新的问题覆盖能力。按照论文的“触达”定义，四个物理和数学测试集中的新增贡献最高仅为2.1个百分点。

研究者还检查了144道只有RL模型答对的物理题，经过重新采样或人工阅读后，仅3.5%的案例能够站得住脚。在随机抽取的样本中，人工确认的RL新增推理步骤有九成也出现在基础模型的采样结果里。这进一步说明，许多所谓“新解法”可能只是基础模型原本就能产生的路径，被RL训练提高了出现概率或完成概率。

意义与局限

这项工作提醒我们，不能只看单一的pass@1来判断RL是否创造了新能力。评测时应同时报告Token预算、完成率、完成后的正确率，以及多次采样下的覆盖变化。对模型开发者而言，若目标是降低超时，优化训练和停止行为可能已经足够；若目标是获得基础模型完全无法触及的解题能力，则需要更严格的验证。

结论并非否定Outcome RL：它确实可能让模型更会收尾、更稳定。但“更可靠地做出已有能力”与“学会新的能力”是两件不同的事，未来的RL评测应把两者明确区分。

来源：Hugging Face Daily Papers