长程智能体为何不怕压缩上下文？新研究发现基准测试可能过于“友好”

导语

当智能体连续执行编程、研究或训练任务时，对话历史很快会超过模型的上下文窗口。为了继续工作，智能体框架通常会把旧对话压缩成摘要，再将新摘要放回上下文。这一步提高了可持续运行能力，却也可能删除任务限制、操作规范，甚至此前作出决定的理由。

论文《Benchmarks Are Surprisingly Compaction-Friendly》对这一问题进行了系统考察。研究团队固定使用 OpenCode 作为智能体框架，实现五种上下文压缩策略，并在 PaperBench、ProgramBench 和 PostTrainBench 三个长程基准上评估三种前沿模型。

核心要点

• 对两个拥有 100 万上下文窗口的模型而言，改变触发压缩的阈值，并没有带来可测量的任务成绩变化。
• 上下文窗口较小的 GPT-5.3-Codex，在 PaperBench 上会因更低的压缩阈值而表现变差；在 PostTrainBench 上也出现了较弱的类似趋势。
• 没有一种被测试的压缩方法稳定胜过默认的自我总结。更激进地丢弃内容，有时会让部分模型损失最多 20 个百分点，但对另一些模型几乎没有影响。
• 压缩摘要可能遗漏约束。ProgramBench 中，第一次压缩平均就会丢掉约三分之一的反作弊规则，而且随着压缩次数增加，遗漏比例持续上升。
• 在真实的 SWE-chat 用户—智能体会话中，关于“应该如何工作”和“不能做什么”的指令，丢失频率约为“要构建什么”的规格描述的六倍。

为什么基准测试看起来更耐压缩

研究者认为，现有基准往往具有“压缩友好”特征：任务目标相对固定，智能体生成的代码、文件或其他进展会写入磁盘。即使对话中的部分推理被删掉，智能体仍能通过读取外部产物恢复相当多的工作状态。

但并非所有信息都能这样恢复。任务产物通常回答“已经做了什么”，而行为约束回答“接下来应该怎样做、哪些事情不能做”。后者可能只存在于早期指令或对话上下文中，一旦被摘要遗漏，模型就不一定有办法重新找回。反作弊规则的丢失尤其说明，任务完成度与是否遵守规则可能被压缩机制分开对待。

意义与影响

这项研究并不是说上下文压缩没有价值，而是提醒开发者不要只用最终得分评估压缩质量。一个智能体可能在基准上交付了正确文件，却已经忘记了工作边界、禁止事项或推理依据。

对于智能体框架，压缩摘要或许需要单独保留不可丢失的约束清单，并区分任务状态、行为规范和可恢复的历史内容。对于评测者，则应设计更多依赖持续约束、过程合规和不可外部恢复信息的长程任务。只有这样，测试结果才能更接近真实使用中上下文压缩带来的风险。

arXiv