只删除不到0.05%的权重，LLM也能完成高效后训练

导语

大语言模型后训练通常意味着修改大量参数：全量微调效果直接，但检查点体积大、成本高，也容易让模型在学习新能力时遗忘旧能力。来自该研究的一项反直觉发现是，模型并不一定需要“增加”或连续调整大量权重；仅仅把极少数预训练权重删除，也可能足以完成一次有效的能力迁移。

核心方法：学习删除哪些权重

论文提出 Deletion Tuning。它不直接更新模型权重，而是在Transformer模块的门控投影上学习一个二值掩码，决定哪些权重保留、哪些权重置零。训练过程中，研究者使用逐步退火的Sigmoid掩码，使连续优化最终趋向离散的删除选择。完成训练后，模型本体仍可复用，额外保存的主要是一个位图式掩码。

根据摘要，删除比例低于0.05%的权重时，方法在三类后训练设置中都能达到与全量微调相当的表现：带可验证奖励的强化学习、监督微调，以及在策略蒸馏。这里的关键并不是把模型压缩成更小的网络，而是利用已有参数中的冗余和结构，让少量“关闭”操作改变模型的行为路径。

三个值得关注的结果

• 更新文件极小。 二值掩码比对应的全量微调检查点小数百到数千倍，便于保存、分发和管理多个专用版本。
• 遗忘更少。 在强化学习实验中，Deletion Tuning的旧任务准确率保持在接近基础模型的水平；相比之下，全量微调、LoRA和随机稀疏微调的旧任务准确率最多下降5.4个百分点。
• 不是简单的随机稀疏化。 作者通过稳定秩、谱漂移和主导权重重叠等指标分析更新几何，发现Deletion Tuning比LoRA和随机稀疏微调更接近全量微调形成的变化方向。

意义与边界

这项工作重新审视了“后训练必须修改多少参数”这一问题。它表明，参数更新的有效性可能更多取决于位置和结构，而不是数量本身。如果结论能在更多模型架构、规模和任务上复现，模型开发者或许可以用极小的掩码分发领域能力、风格或行为调整，并降低持续学习中的灾难性遗忘风险。

不过，现有素材并未说明该掩码能否跨模型尺寸、跨架构迁移，也没有给出全部数据集、模型规模和训练成本。因此，不能将结果直接理解为任何模型都只需删除0.05%权重。更稳妥的解读是：Deletion Tuning提供了一个值得验证的后训练方向——与其普遍地改写参数，不如先寻找少量对行为最关键的“关闭开关”。

来源：Hugging Face Daily Papers