“Wait”不是强化学习发明的：推理模型自我纠错标记的来源追踪

导语：一个词，不能代表全部推理

在推理模型的输出中，{wait}常被视为“停下来重新检查”的可见信号。由此产生的一种常见解释是：强化学习，尤其是带可验证奖励的训练，教会了模型在发现问题后回看前一步。然而，论文《Inherited, Not Invented》提出了更谨慎的追问：这个标记究竟是强化学习新学会的策略，还是模型早已从训练语料中继承的表达习惯？

研究者没有把词频直接当作推理能力指标，而是从开放模型不同训练阶段的采样输出入手，考察标记的出现频率、所在位置、表面形式和使用方式，并加入“注入错误测试”，观察模型是否会在被制造出错误的情况下真正利用它来复查。

核心发现

• 强化学习不会普遍创造“{wait}”。 对于原本不使用该标记的基础模型，零强化学习训练可以显著提升 MATH-500 表现，但{wait}仍几乎不出现。这说明准确率提升与该词之间没有必然关系。
• 标记主要随训练数据进入模型。 在 OLMo-3 的训练历史中，它在中期训练阶段出现；对缺少该标记的多数模型进行推理轨迹微调后，也能安装出类似用法。
• 同样是强化学习，配方差异会改变结果。 当基础模型本来就会使用{wait}时，OLMo-3 和 MiMo 发布的 RL-Zero 配方会明显放大其出现频率；来自同一基础模型的无 KL 约束 GRPO 则没有产生相同效果。
• 形式与功能可能分离。 OLMo-3 的训练配方会磨损该标记的表面形式，同时让它成为更敏感、但也更宽松的“警报”。强化学习发生在监督微调之后时，标记变化很小；而研究者自己的 GRPO 配方甚至会抹去监督微调植入的标记。
• 评测方法同样需要审查。 只统计{wait}的频率，无法证明模型因此获得了更强的推理能力。论文还指出，使用大语言模型充当评审器来判断“是否重新思考”时，自动结果可能与人工标注趋势相反。

意义与影响

这项工作把讨论重点从“模型有没有写出某个词”转向“模型是否真的执行了相应行为”。一个显眼的特殊标记，可能是训练语料的遗产、微调过程的模板，或特定优化配方放大的输出习惯，而不一定是模型内部推理过程的直接窗口。

对研究者而言，评估强化学习推理能力时，应同时检查基础模型、监督微调数据、训练配方和行为测试，避免把相关性误认为因果性。对模型使用者而言，看到{wait}等自我修订提示，可以把它当作可观察的输出特征，却不应单独据此判断答案可靠、推理深入或模型真正完成了纠错。

更广泛地说，论文提醒我们：推理模型的“思考痕迹”既可能反映能力，也可能反映语言风格。只有将输出标记、任务成绩和受控行为测试结合起来，才能更准确地追踪强化学习究竟改变了什么。

来源：Hugging Face Daily Papers