记忆与上下文

自回归视频扩散模型生成长视频时，持续增长的KV缓存会迅速推高显存需求。CORAL-KV利用不同缓存层之间的相关性预测后续层的键和值，再对预测残差进行量化，在降低内存占用的同时保持更高的视频重建质量。

REMORY通过生成一组有界的软记忆Token，弥补文本摘要在长程决策中的信息缺口。在仅使用输入位置5.2%的条件下，它在多个测试中改善了智能体表现，并减少重复工具输出与工具错误。

EngramEdit 将条件记忆从单纯的容量扩展机制，推进为可编辑的知识接口。在冻结 Transformer 主干的前提下，它通过协同更新共享 n-gram 嵌入，实现跨表达、跨事实的知识修改，并尽量减少对无关能力的影响。

一项关于长上下文混合模型的研究发现，滑动窗口注意力和线性注意力在上下文扩展与长度外推上的优势并不相同。研究将差异归因于不同注意力机制形成的“混合位置”偏置，并提出滑窗线性注意力作为改进方案。

一项基于 galahad-kv 的实验显示，模型可以把约 1.6 万 Token 的 KV 状态保存到加密本地硬盘，并在之后直接加载。它并没有扩大模型的注意力窗口，却为超长文本的低成本复用提供了另一条路径。

Periscope 提出一种无需训练的推理方法，把超长文本拆成局部与跨段探针，让受限上下文窗口的语言模型定位答案和证据。研究显示，它能以更低显存处理百万级上下文。

长期记忆让智能体更懂用户，却也可能让模型盲目迎合用户过去的观点。MemAdapter提出反事实诱导、上下文反思和基于证据推理三步机制，动态决定记忆在当前任务中的影响力。

RealCompanion 将长期人机关系带入更接近现实的评测场景，关注模型能否理解一个人、判断何时需要回忆，以及是否会正确使用过去的信息。研究发现，记忆需求远比常规基准想象得少，也更难被可靠识别。

HeteroFold 面向异构多智能体系统，尝试解决 Llama、Qwen 与 Ministral 等不同模型家族之间的 KV Cache 共享问题。论文称，在 32K 上下文下，部分跨模型传输相较接收端原生 Prefill 可实现约 10.7 倍加速。

长程任务中的智能体即使记住了历史，也可能对当前世界形成错误理解，甚至反复行动却没有进展。论文提出PoS，在推理时维护显式信念状态，并针对停滞、循环和偏移进行检测与恢复。

MemFold提出一种面向长期个性化助手的软记忆训练方法：先把与问题相关的文本记忆压缩为固定数量的连续向量，再根据模型自身生成结果优化记忆。它试图解决长历史成本高、传统压缩目标与实际使用脱节的问题。

WUSH-KV 将 WUSH 的数据感知变换引入 KV Cache 量化，并分别为 Key 与 Value 构造变换矩阵。在 2-bit 场景下，该方法在多种模型和下游任务中达到与 OSCAR 相当或更好的效果。

研究发现，采用分块 KV-cache 压缩的模型会对压缩窗口中的不同相位产生系统性偏好。长上下文检索的平均分看似正常，但最佳与最差位置之间可能相差数十个百分点。

长视频问答的难点不只是找到相关片段，还要确认片段中的物体是否是同一个实体。Amazon Science提出GEB，通过视觉身份关联，把跨越数小时甚至数天的观察组织成可检索的实体传记。

Meta 团队提出 Context Language Models，将上下文视为模型可直接读写的文件，而不是由外部框架替模型决定保留什么。摘要显示，这种设计在多项长程任务中兼顾了更高表现与更低计算开销。

字节跳动 Seed 团队提出 PISA，通过由粗到细的层级化候选筛选，缓解长上下文中稀疏注意力的块选择瓶颈。该方法在不显式构造完整查询—键分数矩阵的情况下，将整体复杂度控制在 O(N log N)。

多数智能体在任务结束时就把经历压缩成固定记忆，但此时它还不知道未来会遇到什么问题。JitMem选择保留原始轨迹，等新任务到来后再按需整理，从而让记忆真正服务于当前目标。

LatentPort 探索 Qwen3.5 4B 与 9B 之间的混合状态迁移：接收模型无需重新读取历史前缀，即可接管源模型处理后的部分运行状态。结果显示，仅迁移注意力 KV Cache 远远不够，加入 Gated DeltaNet 的持久状态后，续写损失明显下降。

Jev-Mem将AI代理记忆拆分为快速控制、结构化存储和深度推理三层，减少大语言模型参与日常记忆操作的频率。在LoCoMo测试中，它同时提升回答质量并降低构建与查询延迟。

DeepSeek-V4.1-Flash 面向长周期智能体工作负载，重点解决预填充计算昂贵、KV 缓存占用大以及存储带宽压力高等问题。论文称，该模型通过 CED、CSA2、FP4 KV 缓存和 SWA Bounded Replay，大幅缩减缓存 footprint，同时保持更强性能。

约翰斯·霍普金斯大学团队提出一种组合式持续学习方案，在100个连续问答任务中缓解灾难性遗忘，将最终平均保留率从1.2%提升至34.9%。