返回文章列表

Posterior Matching Distillation:让少步扩散生成更兼顾多样性

阅读约 2 分钟

扩散模型通常需要多次网络计算,才能从噪声逐步生成图像。蒸馏的目标,是把预训练教师模型的迭代采样过程压缩成少数几步;但压缩得更快,不一定意味着生成分布也被完整保留。论文提出 Posterior Matching Distillation(PMD),试图同时处理生成效率与样本多样性。

核心思路

不少分布蒸馏方法采用反向 KL 等目标。论文指出,这类目标可能偏向教师分布中占优势的模式,让学生更集中地生成“常见”结果,而忽略其他可能性。PMD则以匹配后验分布为目标:对于一个固定的噪声状态,学生生成干净图像的条件分布,应尽可能贴近教师对应的后验。

具体而言,PMD让学生在该噪声状态下产生样本,并对样本作指数倾斜加权,再将加权平均结果与教师的后验均值对齐。对于高斯噪声,经过这种倾斜的后验均值可以通过一次教师模型计算得到,相当于把输入移到一个偏移位置。论文进一步证明,在一个开放邻域内匹配这类倾斜均值,可以唯一确定完整后验分布。因此,方法不必额外训练学生分数网络,也能通过一系列均值约束监督条件分布。

训练与实验信息

  • 保留后验信息: 在总体损失为零的理想情形下,PMD可恢复训练噪声水平上的教师干净图像后验。
  • 弹性采样: 学生模型具有随机性,可以在训练所覆盖的时间步网格内使用不同采样步数,无需为每种预算重新训练。
  • 实验范围: 摘要提到在 SDXL 和 FLUX.2 [klein] 4B 上进行实验,并称 PMD 在两者的四步方法中取得最佳 FID。

意义与需要留意之处

PMD的价值不只是减少推理步骤,更在于把蒸馏监督从单一输出或单点匹配,扩展到描述条件分布的一组约束。如果其理论和实验结论在更多设置中成立,这种思路有望帮助少步生成减少模式坍缩,同时保留按计算预算调整步数的灵活性。不过,当前提供的摘要在实验结论处被截断,无法据此了解完整指标与比较设置。此外,Hugging Face 页面评论指出,FLUX.2 的表格中有一处 COCO-10k FID 数值与另一表不一致:一处为 17.47,另一处报告 PMD 为 24.12。该差异来自评论者的核对,尚不能仅凭现有材料判定原因;因此,具体 FID 排名应结合论文原表及作者说明审慎解读。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索
扩散模型
cctest.ai
扩散模型

扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索

一项新研究提出频率感知重掩码策略,让扩散语言模型不再只依赖单步置信度决定哪些词元应被确定。通过把额外计算集中到困难样本,并追踪词元在去噪过程中的预测变化,方法提升了数学与代码任务上的测试时扩展效果。

阅读全文