工具输出不必再是文本：Coca-Cola用连续潜变量压缩智能体上下文

导语

对多步智能体而言，工具调用本身往往不是最昂贵的环节，真正不断膨胀的是工具返回的内容。网页搜索结果、页面片段和中间观察通常会被原样追加到上下文中。随着任务推进，模型需要在越来越长、越来越嘈杂的文本里寻找少量与下一步行动有关的信息，这既增加推理成本，也可能分散注意力。

清华团队提出的Coca-Cola（Context Compression via Continuous Latent Tokens）试图改变这一默认流程：工具观察不必以可读文本的形式交给大语言模型，也可以先被压缩为连续的潜在标记，再注入智能体的输入嵌入空间。

核心方法：压缩“行动所需信息”

传统摘要或Token裁剪仍然依赖离散文本。它们通常需要生成一段人类可读的内容，或从原始输出中删除部分Token，因此压缩空间受到文本表达方式限制。Coca-Cola则不要求重建原始工具输出，而是训练一个压缩模型，把观察结果转换成数量更紧凑的潜在表示。

关键在于，压缩目标不是“让摘要看起来完整”，而是“让智能体仍能做出相近的下一步决策”。为此，论文引入Action-Preserving Training，即比较智能体在完整观察和压缩观察下的下一动作分布，并据此训练压缩模型。目标模型保持冻结，压缩器需要学习哪些信息对行动真正重要。

这种设计意味着潜在标记未必适合人类直接阅读，但它们可以成为智能体的决策接口：搜索结果中的大量格式、重复内容和无关段落可以被舍弃，只保留影响后续搜索、推理或回答的信息。

实验结果与边界

论文在Natural Questions、TriviaQA、2WikiMultiHopQA和HotpotQA四个问答基准上测试网页搜索智能体，并覆盖Qwen和GLM两个模型系列。报告显示，Coca-Cola将智能体总Token消耗降低70.01%至89.24%，端到端运行时间缩短24.45%至55.97%；在所有评估设置中，答案EM和F1都高于未压缩的智能体。

这些结果说明，压缩上下文并不必然牺牲任务效果。相反，去除噪声可能帮助模型更集中于与当前行动有关的内容。不过，现有证据主要来自网页搜索问答和有限的模型家族，能否迁移到代码执行、数据库操作、长期规划或多模态工具链，还需要进一步验证。潜在表示也会带来可解释性和错误诊断方面的新问题：当答案出错时，人类可能更难直接定位被压缩器遗漏了什么。

意义与影响

Coca-Cola的价值不只是把上下文变短，而是重新定义了工具与智能体之间的通信形式。工具输出可以从“给模型阅读的文本”转向“供模型决策的表示”。如果这一思路在更多工作流中成立，未来的智能体系统或许能在更低的上下文和推理开销下完成更长的多步任务。

项目代码已公开，后续研究可以围绕跨任务泛化、潜在表示的安全审计，以及压缩质量与可解释性之间的平衡展开。

来源：Hugging Face Daily Papers