少一些注意力头，能否让模型少“记住”一点？

大型语言模型不仅能学习语言规律，也可能逐字复现训练数据中的片段。这种能力在涉及个人信息、版权内容或敏感文本时，会带来隐私泄露和知识产权风险。通常，缓解这类问题需要改动训练数据、重新训练模型，或在输出端增加过滤机制。arXiv 上的一项新研究提出了另一条思路：在推理前关闭一部分注意力头，观察模型的逐字记忆是否会随之减少。

研究看点

• 把注意力头与记忆联系起来。 既有理论工作认为，注意力头可以充当某种关联记忆机制，模型中的头越多，潜在记忆容量可能越大。
• 剪掉的是“任务冗余”组件。 研究并非随机删除注意力头，而是依据一个用于识别冗余头的基准，找出对语言建模任务贡献有限的部分，并在推理时将其输出归零。
• 记忆复现显著下降。 在 GPT-2-XL（15 亿参数）上，剪除 729 个任务冗余注意力头后，已知记忆序列的复现数量减少了 91.5%。
• 语言建模表现没有同步恶化。 在用于识别冗余头的 WikiText-103 评测上，模型困惑度反而改善了 0.92。素材未说明这一结果能否推广到更多任务或数据集。

这项工作的关键并不是证明“注意力头越少，模型就越安全”，而是显示：部分记忆行为可能依赖于一组可被识别的、并非所有任务都必需的结构。若这些头对常规语言建模并不关键，却参与了训练序列的精确检索，那么在推理阶段进行有针对性的屏蔽，就可能在保留主要能力的同时降低复现风险。

意义与边界

从部署角度看，这种方案不需要修改训练数据，也不需要重新训练模型，因此理论上比训练阶段的隐私治理更容易试验。它还提供了一个值得继续研究的方向：将模型剪枝不只视为压缩和加速手段，也视为控制特定行为的干预工具。

不过，当前结果仍应谨慎解读。实验对象是 GPT-2-XL，测试重点是已知的记忆序列，性能指标则来自 WikiText-103。研究摘要没有展示更大模型、不同架构、未知记忆样本或下游任务上的完整结果，也没有说明关闭注意力头对其他能力的影响。因此，剪枝能否稳定缓解隐私泄露，是否会削弱事实回忆、长上下文处理或其他功能，还需要更广泛的评测。现阶段，它更像是一项有潜力的推理时缓解策略，而不是完整的记忆治理方案。

来源：arXiv