KV Cache 也会“偏心”：新论文揭示长上下文推理中的结构角色偏差

导语

长上下文大模型推理越来越依赖 KV Cache 压缩：当上下文很长、显存有限时，系统必须决定哪些历史 token 的 Key/Value 状态值得保留。常见思路是参考注意力累计值，认为被模型频繁关注的 token 更重要。来自 arXiv 的论文《Adaptive Filtering of the KV Cache》提醒我们，这个直觉在结构密集数据上并不总是可靠。

论文聚焦 H2O 及其后续的注意力式 KV Cache 淘汰方法。作者指出，在嵌套 JSON 这类 schema 密集输入中，注意力质量并不等同于语义信息量：分隔符、空白、KEY 等结构性 token 可能被系统当作“高能信号”保留下来，而真正携带答案的 VALUE token 反而被淘汰。

核心要点

• 注意力分数可能变成非平稳滤波器：论文将累计注意力质量视为信号能量，但发现它会随输入结构角色发生偏移，在 JSON 等格式化文本中放大结构噪声。
• 非内容 sink token 能量异常高：摘要显示，分隔符或空白等非内容角色携带的能量可比任何内容角色高一个数量级。
• KEY 被过度保留，VALUE 被挤压：结构 KEY token 的保留率约为承载答案的 VALUE token 的 1.8 倍。结果是在 5% 缓存预算下，精确匹配准确率从 88% 崩到 0%。
• 抑制 KEY 是可部署的有效过滤方向：论文通过反事实实验判断，在可部署策略中，压低 KEY token 的优先级是最有效的校正方式。
• 无需重训的角色条件分配：作者在 SnapKV 的窗口化分数上加入角色条件分配机制，只需一个调节超参数。低于 20% 缓存预算时，该方法可弥合 H2O 性能差距的 63% 到 98%。
• 高预算下可能存在轻微去噪收益：在更高预算下，方法有时能接近或略超全缓存准确率。但论文也强调，这一效果较小且受随机种子影响；在 B=0.50 时仅接近显著，在 B=0.30、四个种子下无法与零效应区分。

意义与影响

这项工作的重要性在于，它把 KV Cache 压缩问题从“保留注意力最高的 token”推进到“理解 token 在输入结构中的角色”。对于 RAG、工具调用、日志分析、代码和 JSON API 响应等场景，模型面对的并不只是自然语言，而是大量结构化文本。如果缓存策略误把格式符号当成核心信息，长上下文推理就会在最需要精确定位答案的地方失效。

论文提出的方案也具有工程吸引力：角色标签由一个约 15 MB 的线性 role probe 提供，推理成本很低，并且不需要重新训练大模型。不过，作者也保留了边界条件：该方法距离解析器级别的下游准确率仍有差距，如何在真实系统中稳定识别结构角色、泛化到更多数据格式，仍是开放问题。

总体看，这篇论文不是单纯追求更激进的压缩率，而是在提醒业界：KV Cache 淘汰策略本身也会引入偏差。未来的长上下文系统，可能需要把注意力分数、结构角色和任务语义结合起来，才能在省显存的同时保住真正有用的信息。

来源：arXiv