CCTest · Blog
KV Cache 也会“偏心”:新论文揭示长上下文推理中的结构角色偏差
记忆与上下文
cctest.ai
记忆与上下文

KV Cache 也会“偏心”:新论文揭示长上下文推理中的结构角色偏差

一篇 arXiv 新论文指出,按注意力累计值淘汰 KV Cache 的方法,在嵌套 JSON 等结构密集文本上可能错误保留大量“结构噪声”。作者提出无需重训的角色条件分配策略,用较小额外开销缓解这一问题。

阅读全文