LLM为何停不下“思考”？研究揭示推理惯性现象

导语

大语言模型正在越来越多地配备“思考模式”，用户可以要求模型在回答前进行更长的推理。但与“如何让模型多思考”相比，“如何让模型不思考”受到的关注要少得多。论文《Thinking Inertia: LLMs Keep Thinking When Told Not To》聚焦这一问题：当用户明确要求模型不要展示推理、只输出答案时，模型是否真的能够停止可见思考？

研究给出的核心观察是，答案可能是否正确，与模型是否遵守“无思考”指令，并不是同一件事。模型即使答对了题，也可能在最终答案前继续输出解释、推断或其他具有推理色彩的内容。研究者将这种在明确控制下仍持续出现的现象称为“思考惯性”。

研究如何定义“无思考”

过去的评估往往使用一些间接指标，例如关闭思考模式，或者观察回答是否较短。但这些代理指标并不可靠：关闭某个模式不代表模型不会生成推理文本，而较长的文本也可能只是套话、重复或填充内容，并不等于真正进行了推断。

为此，研究将每个回答标准化，拆分为最终答案之前的文本和最终答案本身，并从三个层面进行评估：

• 空思考率：模型是否严格做到只输出答案，不产生答案前文本。
• 问题—答案前文本相关性：答案前文本与问题的相似程度，用于判断这些内容是否与任务相关。
• 显式推理率：借助大语言模型评审，判断答案前文本是否包含清晰可见的推断过程。

这三个指标能够区分三种容易被混为一谈的情况：真正的答案直出、与问题有关但没有明显推断的文字，以及公开呈现的显式推理。

实验观察

研究者在布尔判断、选择题和开放式问题上，对六个大语言模型测试了六种提示干预方式。结果显示，明确的“不要思考”控制并不能稳定地消除可见推理。模型往往仍会在给出答案前补充分析，即使这些分析并非完成任务所必需。

任务形式会显著影响这一现象。答案空间较封闭的布尔题和选择题中，模型准确率总体保持稳定；而在开放式任务中，思考惯性更加普遍。开放式回答需要模型组织更丰富的内容，因此模型更容易把分析、解释和结论混合在一起，也更难严格执行只给最终答案的要求。素材同时指出，开放式任务中可能存在答案表现与无思考服从之间的权衡，但并未提供更具体的量化结论。

意义与影响

这项工作提醒我们，不应仅凭“关闭思考开关”或输出长度来判断模型是否停止推理。对于需要简洁响应、固定格式输出、低延迟推理或避免暴露中间过程的应用，真正重要的是模型能否按照指令控制可见行为。

从评测角度看，研究提出的三层指标为区分“没有思考”“没有展示思考”和“展示了非推理性文本”提供了更清晰的框架。对模型开发者而言，这也意味着无思考模式不能简单视为思考模式的反面，而可能需要专门的训练、解码控制和行为评估。更广泛地说，一个成熟的模型不仅要知道何时展开推理，也要知道何时应当停止展示推理。

来源：Hugging Face Daily Papers