MemT-1.0：让记忆成为基础模型的原生能力

导语

大语言模型的“记忆”通常有两条路径：把信息写进参数，或把历史内容放进上下文并配合检索。前者更新成本高、难以持续，后者会受到上下文长度、KV缓存和检索质量的限制。MemT-1.0提出了另一种方向：让记忆成为模型计算过程中的原生组成部分，使模型能够在交互过程中持续积累并使用信息。

核心要点

• 逐Token更新记忆。 MemT-1.0建立在Metis基础上，引入Gated DeltaNet-2，在每轮交互内部进行更稳定的Token级记忆更新。与一次性拼接全部历史相比，这种设计试图以递归状态承载跨轮信息。
• 扩大原生容量。 论文提出Mixture-of-Storage，用不同存储机制协同扩展模型的记忆容量。摘要没有披露完整模块配置，但其目标很明确：在不把所有历史都保留为注意力缓存的情况下，支持更长时间跨度的信息积累。
• 配套训练流程。 团队先进行骨干模型准备，再采用持续预训练和后训练两阶段方案，并使用约340亿Token数据，同时建设相应的训练与推理基础设施。
• 兼顾记忆与通用能力。 MemT-1.0推出Nano和Flash两个版本。评测结果表明，两者平均超过参数化记忆基线，并与检索增强方法保持竞争力，同时大体保留原有通用能力。
• 长历史效率更高。 在128K Token历史长度下，MemT-1.0-Nano相较完整上下文KV缓存，端到端推理速度约提升1.86倍，持久化存储需求减少约66倍。这里的优势主要来自记忆状态的压缩与持续更新，而非简单扩大上下文窗口。

意义与影响

MemT-1.0的价值不只是增加一个记忆模块，而是重新定义模型与历史信息的关系。传统RAG更像是“需要时查资料”，参数化记忆则是“把经验写进模型”；原生记忆试图让模型在运行中形成可持续更新的内部状态。对于长期对话、个性化助手和需要跨步骤积累经验的智能体，这种机制有望减少重复检索，并让程序性经验参与后续决策。论文还报告称，将检索到的程序性经验内化后，智能体任务成功率得到改善。

不过，这一方向仍需要更细致的验证：记忆写入是否准确、旧信息如何修正或遗忘、错误是否会在状态中累积，以及不同任务之间如何隔离记忆，都是实际部署中的关键问题。就目前素材而言，MemT-1.0更像是从“外接记忆”迈向“记忆原生模型”的一次工程化探索，而不是对所有记忆问题的最终解决方案。

来源：Hugging Face Daily Papers