强化学习真的教会了大模型新推理能力吗？一项研究发现“思考泄漏”

导语

强化学习通常被视为让大语言模型获得新能力的重要手段，尤其是在数学和逻辑推理任务上。但一篇发表于 Hugging Face Daily Papers 的研究提出了一个值得警惕的替代解释：模型表现变好，未必意味着它学会了新的推理方法，也可能只是重新调用了训练前就已经存在的能力。

研究对象是 Qwen3 系列混合推理模型。这类模型可以通过聊天模板中的少量特殊标记，在 THINK 和 NO-THINK 两种模式之间切换。常见训练方案是在 NO-THINK 模式下进行强化学习，并据此报告推理准确率提升。论文将其中一种现象称为“思考泄漏”（thinking leakage）。

核心要点

• 输出逐渐变得更像思考模式。 研究团队在 Qwen3-1.7B、4B 和 8B 上使用 GRPO 训练。随着准确率提升，模型的回答也更长、更具反思性；同时，原始模型更容易判断这些回答与自身 THINK 模式的输出相似。
• 提升接近原始 THINK 能力，而非超越它。 当研究者继续扩大强化学习更新时，模型会进一步表现出 THINK 模式的特征，准确率也接近原始 THINK 模式，但没有明显超过后者。这削弱了“模型学会全新推理能力”的解释。
• 存在因果层面的证据。 在 Qwen3-8B 中，研究者对与 THINK 相关的低维激活子空间进行替换。将强化学习模型的相关激活换回原始模型的值后，大部分强化学习收益消失；反向操作则能把相当一部分收益转移给原始模型。论文还发现，强化学习造成的变化会经过读取空白 think 区块的注意力头。
• GRPO 信号可能推动了这种变化。 被优势加权更新偏好的回答，往往更像 THINK 模式。由这类信号计算出的梯度，也会把模型推向更具思考特征的行为。

意义与影响

这项工作并不是说强化学习完全没有作用，而是提醒研究者重新审视“性能提升”的来源。对于带有显式思考开关的混合推理模型，NO-THINK 训练可能并非从零塑造新的推理机制，而是在参数、激活和注意力路径上部分恢复原有的 THINK 行为。

这对后训练评估尤其重要。仅比较训练前后的准确率，无法判断模型是在学习新策略、改善任务适应，还是重新打开了被模式控制机制压低的能力。未来的实验可能需要加入模式间对照、激活干预和因果分析，并区分“能力获得”与“能力调用”。对于模型开发者而言，这也意味着强化学习配方的收益，应结合计算成本、输出长度和推理模式变化一起评估，而不能只看最终分数。

来源：Hugging Face Daily Papers