让模型少想一会儿：压缩推理历史如何降低智能体成本

导语

推理模型的能力提升，往往伴随着更长的思考过程。更长的推理轨迹不只是增加输出长度，也会推高 API 调用费用、延迟和智能体运行成本。一个直接但尚未被充分研究的问题是：如果不重新训练模型，只把它之前写下来的思考改写得更紧凑，模型接下来会不会因此少做一些重复工作？

ShortReasoning 研究正是从这个问题出发，考察“推理历史压缩”对后续生成的因果影响。研究者在工具结果尚未返回、模型即将继续思考之前，将已有推理改写成紧凑的状态记录，然后比较模型在原始历史和压缩历史下的后续行为。

核心发现

• 压缩历史通常会缩短后续推理。 在测试的六条模型路线中，经过接受的紧凑化历史，其后续推理的中位长度通常更短。这说明推理历史并非只是被动的上下文，它还可能影响模型接下来如何组织思考。
• 减少的主要是重复劳动。 编码案例显示，在候选方案已经形成后，模型可能反复进行相似的检查和验证。更清晰的状态记录让后续步骤更容易识别已经完成的工作，从而减少重复验证。
• 无需重新训练即可尝试。 压缩器可以是专门微调的模型，也可以是更小、更便宜或更快的模型；研究还提出，分类器或许能帮助判断哪些内容值得保留。
• 工程收益取决于压缩器和任务。 在软件智能体案例中，使用外部压缩的 MiniMax M3 总成本降低了 34%，包含改写开销的模型请求累计时间减少了 59%。不过，这并不意味着所有任务都能获得同样收益，压缩过程本身也可能增加延迟或损失关键信息。

这项工作的意义

过去，推理效率常被理解为控制模型生成多少新 token，例如限制预算、提前停止或训练更短的思维链。ShortReasoning 提供了另一种视角：模型已经写出的历史，也可以被视为一种可优化的计算状态。只要关键事实、当前目标和未完成步骤得到保留，文字表面的缩短可能改变后续生成的路径，而不仅仅是节省上下文窗口。

对智能体系统而言，这一思路尤其有价值。工具调用通常会把任务拆成多轮交互，每轮之间都会携带此前的思考。如果历史中包含大量重复解释，压缩就可能降低后续请求的 token 消耗。更进一步，压缩可以与工具执行并行进行，以隐藏部分额外延迟。

但压缩并不等于简单摘要。过度概括可能删除模型后续需要的约束、失败记录或验证依据，导致成本下降却损害任务质量。因此，实际部署应同时评估成功率、最终成本、压缩耗时和模型请求时间，并按模型、任务以及推理阶段选择不同压缩强度。研究的核心启示不是“思考越短越好”，而是应让模型把有用分析表达得更紧凑，同时保留解决问题所需的能力。

来源：Hugging Face Daily Papers