CCTest · Blog
KV Cache 也会“偏心”:新论文揭示长上下文推理中的结构角色偏差
记忆与上下文
cctest.ai
KV Cache 也会“偏心”:新论文揭示长上下文推理中的结构角色偏差
一篇 arXiv 新论文指出,按注意力累计值淘汰 KV Cache 的方法,在嵌套 JSON 等结构密集文本上可能错误保留大量“结构噪声”。作者提出无需重训的角色条件分配策略,用较小额外开销缓解这一问题。
阅读全文一篇 arXiv 新论文指出,按注意力累计值淘汰 KV Cache 的方法,在嵌套 JSON 等结构密集文本上可能错误保留大量“结构噪声”。作者提出无需重训的角色条件分配策略,用较小额外开销缓解这一问题。
阅读全文一篇 arXiv 新论文提出 HealthClaw,一个面向个人长期健康管理的开源 Agent 架构。它试图让健康 AI 不再只回答当下问题,而是在受控记忆中持续更新用户习惯、偏好、指标和风险。
阅读全文