拡散モデルは通常、ノイズから画像を作るために何度もネットワークを評価します。蒸留は、この反復的な生成を少ないステップに圧縮する方法ですが、速くするだけでは教師モデルが表現する出力の幅まで保てるとは限りません。Posterior Matching Distillation(PMD)は、生成の効率化と条件付き分布の再現を両立させようとする手法です。
優勢なモードだけに寄らない学習
論文によれば、反向KLに基づく分布蒸留はモード選択的になり、教師分布の中で頻度の高いパターンを学生が優先する可能性があります。その結果、より少ない頻度の候補が十分に表現されないことがあります。PMDは、固定したノイズ状態から得られる「クリーン画像の事後分布」そのものを学生に学習させることを目指します。
手法では、同じノイズ状態を条件として学生からサンプルを生成し、それらを指数的に重み付けした平均を作ります。そして、その平均を教師が与える対応する事後平均に一致させます。ガウスノイズの場合、指数的に傾けた事後平均は、入力をずらした位置で教師を一度評価すれば得られるとされます。また、開いた近傍にわたってこうした傾斜平均を一致させれば、完全な事後分布を一意に特定できると論文は証明しています。学生用の補助的なスコアネットワークを追加せず、一連の平均制約で条件付き分布を学習する設計です。
論文が示す特徴
- 事後分布の再現: 母集団損失がゼロとなる理想条件では、学習した各ノイズレベルで教師のクリーン画像事後分布を回復します。
- ステップ数の柔軟性: 確率的な学生は、学習済み時間ステップの範囲内で異なるサンプリング予算に対応でき、予算ごとの再学習を必要としません。
- 実験対象: 要旨はSDXLとFLUX.2 [klein] 4Bで評価し、両モデルの4ステップ手法の中で最良のFIDを得たと述べています。
意義と確認すべき点
PMDの特徴は、単一の予測を合わせるのではなく、条件付き分布を一連の制約から捉え直す点にあります。主張が他の条件でも確かめられれば、少ステップ生成で多様性を保ちつつ、計算量に合わせてサンプリングを調整する方向につながる可能性があります。一方、提供された要旨は実験結果の説明途中で切れており、比較条件の詳細は確認できません。
さらに、Hugging Faceの論文ページにあるコメントは、FLUX.2のCOCO-10k FIDについて、ある表では17.47、別の表ではPMDが24.12と記されていると指摘しています。コメント投稿者は多様性スコアが一致している点にも触れていますが、これはページ上で報告された不一致であり、原因が確認されたわけではありません。原論文の表や著者の説明で解消されるまでは、FLUX.2の具体的なFID順位を確定的な結果として扱わないのが適切です。
コメント
ログイン状態を確認中…
コメントを読み込み中…