Deep Fusion Memory：让大模型把外部知识写入中间层记忆

导语

大语言模型获取外部知识，通常有两条路线：继续预训练或在推理时检索。前者可能带来灾难性遗忘，后者则会增加检索、拼接上下文和生成响应的在线成本。参数化记忆试图把外部知识提前“写入”模型，但现有方案往往需要为大量 token 构造检索目标，或者只在输出层做浅层融合。

论文《Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models》提出的 Deep Fusion Memory（DFM），将记忆构建单位从 token 提升到 chunk，并把记忆注入语言模型的中间隐藏状态。

核心方法

• 以文本块为记忆单位。 DFM 不为每个 token 单独寻找记忆目标，而是让一个文本块共享同一份预测记忆。这种设计降低了训练数据准备阶段的检索需求。
• 用因果预测器生成记忆。 记忆预测器根据此前的上下文，预测当前文本块所需的外部知识表示；训练时使用从语料库检索得到的 chunk embedding 作为监督信号。
• 进行深层融合。 预测记忆通过带门控的交叉注意力进入模型的中间隐藏状态，而不是等到语言模型输出端再进行插值。门控机制为模型提供了控制记忆影响程度的通道。
• 冻结主干模型。 记忆预测和融合模块采用端到端方式训练，但基础语言模型保持冻结，目标是减少对原有能力的扰动。
• 推理时不显式检索。 训练完成后，模型依据上下文生成所需记忆，因此不需要在每次推理时访问外部检索系统。

结果与意义

论文摘要报告，在六项问答任务中，DFM 相比最强基线在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别取得 12.71% 和 11.19% 的提升；在领域适配任务中，Qwen3-4B-Base 和 Qwen3-8B-Base 的平均增益分别为 6.51 和 4.38 个百分点。作者还称，构建训练数据所需的检索查询减少 32 倍，检索项目数量减少 2048 倍。

这些结果显示，chunk 级监督可能是降低参数化记忆成本的一种实际路径，而中间层融合也比单纯输出插值更有机会影响模型内部处理过程。需要注意的是，现有素材主要提供了方法概述和总体结果，尚不足以判断不同语料规模、记忆冲突、知识更新频率以及错误记忆传播等场景下的表现。未来评估的关键，将是比较 DFM 与在线 RAG 在延迟、更新灵活性和事实可靠性上的真实取舍。

来源：Hugging Face Daily Papers