推理开头的几个词，可能决定模型能否控制思维链

导语

让模型展示思维链，常被视为监督复杂 AI agent 的重要手段。研究者可以通过读取推理痕迹，判断模型是否遵循了目标、是否出现了不安全意图。不过，思维链监控有一个前提：模型必须能够按照要求改变自己写出的推理内容。来自 Hugh Van Deventer、Dmitrii Troitskii 和 Laura Ruis 的新研究指出，问题可能并不只是模型“不会控制思维链”，而是控制过程在一开始就被限制了。

关键发现

论文将这种限制与模型在开启 thinking 标签后最初几个 token 上的“熵坍缩”联系起来。也就是说，模型在推理开头往往高度倾向于少数常见的起始表达，导致后续内容难以沿着特定指令展开。研究者据此设计了两类无需重新训练模型的推理时干预：

• 预填充（prefilling）：在模型开始生成前，预先提供一个甚至单个 token，引导它进入指定的推理起点。实验显示，一个 token 就可能明显提升可控性。
• 限制常见开头：禁止模型使用高频的开场 token，并结合上下文示例，迫使模型探索其他启动方式。跨模型测试中，平均遵循程度提升了 34—41 个百分点。

研究还将控制任务分为三类。增加或转换信息、调整表达风格的任务，通常更容易通过上述方法恢复；要求模型避免提及或删除某些信息的“抑制控制”，表现则更不稳定。这说明“加入内容”和“压制内容”可能并非同一种能力的两面。

意义与局限

这一结果对思维链监控提出了更细致的评估要求。如果测试把“模型是否能从指定开头启动”和“模型是否能改变已有推理内容”混为一谈，就可能低估或误判真正的可控性。论文还观察到，不同控制能力与可监控性的关系取决于评测方式：增加信息和风格控制更常呈正相关，而抑制控制有时呈负相关。

对安全研究而言，开头 token 不再只是格式问题，而可能是影响监督效果的一个干预点。未来评测或许需要分别报告增加、风格和抑制等任务，并区分启动困难与内容修改能力不足。与此同时，这些发现仍主要说明推理时干预能够改善特定任务表现，并不意味着模型已经获得稳定、普遍的思维链控制能力。

来源：arXiv