一个开头词，为什么能让基础模型突然更会推理？

导语

人们通常把大语言模型的推理能力归因于更大的参数规模、思维链提示或强化学习训练。但一项来自麻省理工学院研究团队的工作提出了一个更细致的解释：有时，决定模型是否进入“推理状态”的，可能只是回答开头的几个词元。

研究者将这类开头称为 token cue（词元提示）。它们并不是传统意义上的指令，而是模型在训练数据中学到的文本延续模式。当某些开场经常出现在包含详细推导、代码分析或规范回答的文本里，模型就可能把这些词与后续行为联系起来。

核心发现

• 固定开头可以显著改变表现。 在 MATH-500 测试中，给 Olmo-3-7B 固定“.\n\nOkay”这一开场后，pass@1 准确率从 42% 提升到 78%；Qwen3-14B 使用“Alright,”后，准确率从 72% 提升到 87%。这些结果显示，基础模型与强化学习模型之间的差距，未必完全来自新增的推理能力。
• 强化学习会放大有效提示。 研究认为，RL 训练不仅改变答案质量，也会让模型更倾向于生成那些与有效推理相关的开头词。把这些词直接固定下来，可以恢复强化学习带来的相当一部分性能提升。
• 提示效果来自训练数据关联。 研究者通过因果数据干预，把原本普通的词，例如“chicken”，改造成有效的推理提示；也能移除原有词元的类似作用。这说明关键不在词本身的语义，而在它与训练文档类型及后续文本结构形成的关联。
• 任意指令也可能被重新赋能。 经过相似的数据编辑后，“Think duck duck goose”可以像“Think step by step”一样诱发推理。换言之，常见提示语的效果可能更多来自数据分布，而不只是语言本身的逻辑含义。
• 这种机制也影响安全行为。 不同开场会诱发不同的拒答或服从倾向，而且这些差异与训练数据中的文档类型有关。词元提示因此不仅是性能调节器，也可能是安全行为的入口。

意义与影响

这项工作为理解基础模型和推理模型之间的差异提供了一个重要视角：模型可能早已具备某些生成长链条推理的潜力，只是默认没有走上对应的文本轨迹。强化学习的作用之一，可能是让模型更频繁地进入这些轨迹，而不是从零创造全部能力。

对模型开发者而言，结果提示了一种低成本的诊断方法：在比较基础模型与后训练模型时，不能只看默认输出，还应系统测试不同响应前缀。对提示工程而言，找到有效开场也许能带来明显收益，但这种收益未必稳定，也不等于模型真正理解了提示。尤其在安全场景中，隐蔽的词元关联可能导致拒答策略和服从行为发生变化，因此需要纳入评测与监控。

更广泛地看，这项研究把“训练数据中的文体和结构”放到了推理能力讨论的中心。未来的模型训练，可能不仅要优化答案，还要更谨慎地管理哪些文本模式会被绑定到推理、拒答或执行行为上。

来源：Hugging Face Daily Papers