IDU：在蒸馏生成模型的同时完成数据遗忘

生成模型的能力与成本往往相伴而生。扩散模型和流匹配模型通常需要多步迭代才能完成采样，推理质量较高，但部署成本也更大；与此同时，模型可能继续生成训练数据中已经不希望保留的内容。如何在降低采样步数的同时完成针对性遗忘，成为模型编辑与合规使用中的一个实际问题。

IDU 解决什么问题

论文提出的 Inverse Distillation Unlearning（IDU），将两个目标放进同一套训练过程：一是把基于完整数据训练的多步教师模型蒸馏成单步学生生成器，二是压低指定“遗忘集”对应内容的生成概率。这里的遗忘集可以理解为希望模型不再复现的训练子集，例如特定类别的数据。

与依赖保留数据重新训练的方案不同，IDU只需要一个预训练的完整数据教师模型，以及遗忘集样本。训练过程中不需要访问其余保留样本，也不依赖额外的特征提取器或分类器。这一点降低了遗忘场景中的数据访问要求，也使方法更接近“对现有模型进行定向修正”，而不是完整重训。

方法的核心思路

• 统一蒸馏与遗忘：学生模型既要逼近教师模型的生成分布，又要避开遗忘集对应的输出。
• 从分布角度建模：研究者将蒸馏目标写成关于数据分布的极小极大优化问题，并把训练中使用的分布表示为遗忘集分布与学生生成分布的混合。
• 恢复保留部分：通过将这一混合分布与教师模型原本学习的完整训练分布进行比较，优化过程在理想情况下倾向于留下未被指定遗忘的部分。
• 兼容多类教师模型：实验覆盖流匹配教师和基于分数的扩散教师，说明该框架并不局限于单一种类的多步生成模型。

实验与意义

论文在 MNIST 和 CIFAR-10 上进行了验证。结果表明，IDU能够明显降低被指定遗忘类别的生成频率，同时在保留类别上维持具有竞争力的生成质量。现有素材没有提供具体数值，因此更适合将这项工作理解为方法层面的可行性验证，而不是对所有复杂生成场景效果的充分证明。

IDU的价值在于，它把“更快生成”和“减少特定数据复现”结合起来：单步学生模型有望降低推理开销，遗忘目标则为版权、隐私或数据撤回等场景提供了新的技术路径。不过，当前验证主要集中在小规模视觉数据集和类别级遗忘，方法在大规模图像、文本条件生成以及更细粒度的单样本遗忘任务上的表现，仍需要进一步研究。总体而言，IDU展示了逆蒸馏作为生成模型选择性遗忘工具的潜力，也提醒业界关注蒸馏过程本身对数据记忆的重新塑造。

来源：Hugging Face Daily Papers