扩散模型通常需要多次网络计算,才能从噪声逐步生成图像。蒸馏的目标,是把预训练教师模型的迭代采样过程压缩成少数几步;但压缩得更快,不一定意味着生成分布也被完整保留。论文提出 Posterior Matching Distillation(PMD),试图同时处理生成效率与样本多样性。
核心思路
不少分布蒸馏方法采用反向 KL 等目标。论文指出,这类目标可能偏向教师分布中占优势的模式,让学生更集中地生成“常见”结果,而忽略其他可能性。PMD则以匹配后验分布为目标:对于一个固定的噪声状态,学生生成干净图像的条件分布,应尽可能贴近教师对应的后验。
具体而言,PMD让学生在该噪声状态下产生样本,并对样本作指数倾斜加权,再将加权平均结果与教师的后验均值对齐。对于高斯噪声,经过这种倾斜的后验均值可以通过一次教师模型计算得到,相当于把输入移到一个偏移位置。论文进一步证明,在一个开放邻域内匹配这类倾斜均值,可以唯一确定完整后验分布。因此,方法不必额外训练学生分数网络,也能通过一系列均值约束监督条件分布。
训练与实验信息
- 保留后验信息: 在总体损失为零的理想情形下,PMD可恢复训练噪声水平上的教师干净图像后验。
- 弹性采样: 学生模型具有随机性,可以在训练所覆盖的时间步网格内使用不同采样步数,无需为每种预算重新训练。
- 实验范围: 摘要提到在 SDXL 和 FLUX.2 [klein] 4B 上进行实验,并称 PMD 在两者的四步方法中取得最佳 FID。
意义与需要留意之处
PMD的价值不只是减少推理步骤,更在于把蒸馏监督从单一输出或单点匹配,扩展到描述条件分布的一组约束。如果其理论和实验结论在更多设置中成立,这种思路有望帮助少步生成减少模式坍缩,同时保留按计算预算调整步数的灵活性。不过,当前提供的摘要在实验结论处被截断,无法据此了解完整指标与比较设置。此外,Hugging Face 页面评论指出,FLUX.2 的表格中有一处 COCO-10k FID 数值与另一表不一致:一处为 17.47,另一处报告 PMD 为 24.12。该差异来自评论者的核对,尚不能仅凭现有材料判定原因;因此,具体 FID 排名应结合论文原表及作者说明审慎解读。
评论
正在确认登录状态……
正在加载评论……