MixUA:让多用户、多智能体共享记忆而不越过隐私边界
MixUA提出一种多粒度记忆系统,将智能体从不同用户和任务中提炼出的经验,按适用对象与隐私风险分配到不同共享范围。配套基准CrossLearnBench同时测试跨用户学习效果与私密信息泄漏。
阅读全文MixUA提出一种多粒度记忆系统,将智能体从不同用户和任务中提炼出的经验,按适用对象与隐私风险分配到不同共享范围。配套基准CrossLearnBench同时测试跨用户学习效果与私密信息泄漏。
阅读全文外部记忆能让大语言模型智能体从过往任务中学习,但错误或错配的经验也可能让它在原本能完成的任务上失败。WikiTrace将经验、结果诊断与原始轨迹关联起来,让智能体在行动前核验记忆。
阅读全文LowRAM 提出一种面向推理阶段的非对称 KV Cache 压缩方案:用低秩分解压缩 Key,再用轻量预测器从 Key 重建 Value。论文称,该方法在接近无损的情况下实现 4 倍 Value 压缩,并可与量化、淘汰策略组合。
阅读全文EvoMemState提出一种面向长期记忆的状态中心框架,将事实、事实之间的关系以及当前请求下的使用策略结合起来。它试图解决个人智能体在偏好变化、信息冲突和记忆适用范围判断上的常见问题。
阅读全文一项名为 ShortReasoning 的研究发现,把模型已经完成的推理改写成紧凑的状态记录,可能让它在后续生成中减少重复思考。该方法无需重新训练,在编码智能体案例中还显示出降低成本的潜力。
阅读全文现有视频问答基准大多测试模型能否从视频中找到答案,却很少考察它能否在多轮对话中记住此前看过的内容和给出的回答。VideoMemBench以跨轮依赖为核心,专门测量多模态大模型的视频上下文记忆能力。
阅读全文一项针对检索任务的研究发现,语言模型并不会因为中性文本变长就必然失效,真正显著的影响来自与答案相似、彼此竞争的证据。研究者还发现,模型分配给正确证据的注意力质量,比上下文长度更能解释性能下降。
阅读全文为长期运行的智能体增加记忆模块,未必比直接检索原始历史更有效。Memory Tax 研究将记忆带来的收益与损失拆开,提醒开发者关注系统的净价值。
阅读全文一项针对长程智能体任务的研究发现,许多基准测试对上下文压缩并不敏感,因为任务目标和中间产物通常保存在外部文件中。但压缩仍可能悄悄丢失工作规则与反作弊约束,带来难以察觉的风险。
阅读全文Deep Fusion Memory 提出一种面向文本块的参数化记忆架构,试图同时降低外部知识构建成本,并让记忆更深入地参与语言模型的推理过程。该方法在推理阶段无需显式检索,并在知识问答与领域适配任务中取得了较好的结果。
阅读全文一项新研究发现,直接在原始对话历史上进行密集检索与重排序的 Raw-RAG,在四个记忆基准的七组评测中有六组排名第一。结果表明,保留完整证据有时比构建复杂的智能体记忆结构更重要。
阅读全文MCCL 提出,智能体记忆不应只被衡量为“能否找回信息”,更应关注它是否让未来的决策和行动变得更好。论文从记忆分类、双循环管理、评测协议和扩展规律四个方面,重新定义了 Agent 的长期学习问题。
阅读全文FlowState 不再要求智能体反复加载完整对话历史,而是保存带语义类型的执行状态,并在需要时逐步调取相关状态与原始证据。实验显示,这种机制在降低 token 消耗的同时,也提升了长程任务表现。
阅读全文MemT-1.0尝试把记忆机制直接纳入模型计算,而不是仅依赖上下文窗口或外部检索。论文显示,该模型在记忆任务和智能体任务上具备竞争力,同时降低长历史推理的速度与存储成本。
阅读全文PN-Mix 面向长输出 LLM 推理,提出一种基于 RoPE 通道对重要性分配精度的混合精度键缓存量化方法。在平均 2.26 bit 的设置下,它在多类基准上展现出较强的精度保持能力,并在更低比特率下退化更平缓。
阅读全文ByteDance Seed 提出的 Cortex,尝试将模型依赖上下文获得的能力固化到参数中,同时降低持续更新对原有能力的影响。研究在多种规模、架构和任务上评估了这一“记忆巩固”机制。
阅读全文自回归视频扩散模型生成长视频时,持续增长的KV缓存会迅速推高显存需求。CORAL-KV利用不同缓存层之间的相关性预测后续层的键和值,再对预测残差进行量化,在降低内存占用的同时保持更高的视频重建质量。
阅读全文REMORY通过生成一组有界的软记忆Token,弥补文本摘要在长程决策中的信息缺口。在仅使用输入位置5.2%的条件下,它在多个测试中改善了智能体表现,并减少重复工具输出与工具错误。
阅读全文一项关于长上下文混合模型的研究发现,滑动窗口注意力和线性注意力在上下文扩展与长度外推上的优势并不相同。研究将差异归因于不同注意力机制形成的“混合位置”偏置,并提出滑窗线性注意力作为改进方案。
阅读全文一项基于 galahad-kv 的实验显示,模型可以把约 1.6 万 Token 的 KV 状态保存到加密本地硬盘,并在之后直接加载。它并没有扩大模型的注意力窗口,却为超长文本的低成本复用提供了另一条路径。
阅读全文