Cortex：把上下文提示转化为可合并的参数记忆

导语

大语言模型可以借助一段上下文临时获得新知识、特定技能或行为倾向，但上下文一旦被移除，这些收益通常也会随之消失。直接修改参数虽然能够实现长期保留，却可能引发知识覆盖、能力退化和连续编辑不稳定等问题。来自 ByteDance Seed 的论文提出 Cortex，将这一问题概括为“记忆巩固”：把上下文带来的改进内化为参数更新，同时尽量不影响与目标无关的能力。

核心方法

Cortex 的关键并不是简单地把上下文内容写入模型，而是先推测这些信息未来可能如何被使用。方法会生成一组“预期查询”，用来覆盖上下文潜在应用场景；随后，模型在这些查询和原始上下文共同作用下产生目标输出，系统再将这种上下文条件下的行为蒸馏为可合并的参数更新。

论文探索了两类更新形式：一种是低秩更新，便于以相对紧凑的方式叠加到已有模型；另一种是结构化的前馈网络更新，目标是在表达能力和参数干扰之间取得更好的平衡。这样的设计让上下文指定的编辑、技能学习和行为引导可以放在同一套“提升目标能力、保持非目标能力”的框架下讨论。

评测结果

论文构建了覆盖五类任务的测试集，并分别考察单次、批量和连续更新。实验涉及 4B 到 120B 的稠密模型与混合专家模型，也包含纯文本和多模态模型。作者报告称，Cortex 在多数测试设置中位于“巩固效果—能力保持”经验帕累托前沿，意味着它并非只追求记忆写入，而是同时关注更新后的整体稳定性。

一个更具体的结果来自 14B 模型上的 50 次连续事实编辑。Cortex-Structural 恢复了上下文带来增益的 88.9%，同时保留原始非目标性能的 99.8%。这说明结构化更新在多次编辑叠加时具有较强的抗干扰表现，但这些结果仍属于论文设定下的实验结论，不能直接等同于所有真实部署场景中的长期可靠性。

意义与局限

Cortex 的价值在于提供了介于“每次都带上下文推理”和“重新训练整个模型”之间的路径：新知识可以被固化，更新也可以以模块形式合并，适合持续学习和定向模型适配。与此同时，预期查询的质量、不同编辑之间的冲突、更新模块的管理方式，以及事实错误被固化后的纠正成本，仍是实际应用需要进一步验证的问题。总体而言，这项工作把参数编辑从单纯的知识替换，推进到对上下文收益进行系统保留的方向。

来源：Hugging Face Daily Papers