DiffusionART、拡散モデル強化学習の効率と安定性を改善

概要

拡散モデルは高品質な画像や動画を生成できますが、視覚品質、動きの品質、プロンプトへの適合度といった指標をさらに最適化するには、通常の尤度学習だけでは不十分な場合があります。オンライン強化学習では、モデルが生成したサンプルをブラックボックス報酬で評価し、その結果を使ってモデルを更新できます。しかし、1つの生成結果が多数のデノイズ段階を経て作られるため、最終報酬を各段階にどう割り当てるかが難しい問題になります。

KlingAI Research の論文は、この課題に対して DiffusionART を提案しました。拡散モデルの強化学習を、より効率的かつ安定して拡張することを狙った手法で、画像と動画の生成実験で評価されています。

主なポイント

• 信用割当の考え方を変更。 Flow-GRPO のような逆過程ベースの手法では、サンプル単位の報酬を複数のデノイズ段階へ分配する必要があります。論文は、この構造が効率と信用割当の弱さにつながると説明し、DiffusionART では前向き過程の状態を中心に報酬信号を扱います。
• 報酬を先に集約。 正例と負例へ別々に更新をかけるのではなく、同じプロンプトから得られた報酬を先に集約し、報酬を改善する共通方向を作ります。これにより、NFT 系目的関数に隠れている前向き・逆向き過程の整合性力を構造的に除去できるとしています。
• EMA の調整に依存しない復元。 DiffusionNFT は、オフポリシー学習を安定させるため、指数移動平均 EMA の慎重な設定を必要とします。DiffusionART は信頼領域でマスクした二段目の更新を加え、モデルのドリフト量に応じて復元します。
• 報酬形式に柔軟。 微分可能な報酬モデルを必要とせず、プロンプトあたりのサンプル数が少ない場合にも有効だと報告されています。ペアワイズ報酬モデルに対応する DiffusionART-Pairwise も示されています。

結果と意義

論文によると、DiffusionART はタスクごとの細かな調整なしに、画像・動画生成で効率と安定性を維持しました。HunyuanVideo-13B で視覚品質と動きの品質を同じ重みで評価した場合、DiffusionNFT の後期平均報酬水準に到達するまでの GPU 時間は 12.02 分の1、Flow-GRPO-Fast の水準に到達するまでの GPU 時間は 11.72 分の1 でした。平均訓練報酬も、それぞれ 28.8% と 53.0% 高かったと報告されています。

動画拡散モデルの強化学習では、各サンプルに多段の生成計算が必要であり、報酬最適化のための反復サンプリングもコストになります。プロンプトごとの報酬情報をより有効な更新へ変換できれば、必要な計算量を抑えやすくなります。DiffusionART の特徴は、サンプル数を単純に増やすのではなく、報酬の集約方法とモデルドリフトからの復元方法を改良した点にあります。

今回確認できる素材は、提案の動機と主要な結果を中心としています。具体的な実験条件、報酬の設計、実装上の詳細については、完全な論文とコードでの確認が必要です。それでも、拡散モデル強化学習の安定化は EMA や外部制約だけに頼らず、更新前の報酬情報の構造化からも実現できるという示唆を与えています。

出典：Hugging Face Daily Papers