動画生成の蒸留と嗜好調整を同時に行うDM-Align

導入

動画生成モデルを実用化するには、画質や忠実度だけでなく、ユーザーの指示と人間の好みに沿った出力、そして低い推論コストが求められる。これまでの学習パイプラインでは、モデルの軽量化を担う蒸留と、出力を人間の評価に近づけるアライメントを別々の段階として扱うことが多かった。

しかし、この分離には問題がある。強化学習を蒸留の前に行えば、計算量が大きくなりやすい。一方、蒸留後に強化学習を適用すると、軽量化されたモデルが嗜好に関する能力を失ったり、学習が不安定になったりする可能性がある。arXiv論文「Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching」は、この二つを同じ最適化の中で扱うDM-Alignを提案した。

主な仕組み

• 蒸留の勾配を維持する。 標準的な分布マッチングでは、参照モデルと生成モデルの分布差を縮め、軽量なモデルが明瞭さや高い忠実度を保てるように更新する。
• 嗜好誘導の勾配を追加する。 DM-Alignはサンプル間の分布差から補完的な勾配を導き、参照モデルを単純に模倣するだけでなく、人間に好まれる出力へ生成分布を動かす。
• 複数の嗜好情報に対応する。 好みのペアを使う場合はDPOに着想を得て、同じグループ内で複数の候補を探索する場合はGRPOに近い考え方で相対的な情報を利用する。
• 強化学習の処理を簡略化する。 論文によれば、多段階の報酬評価や、従来のRLに関連するODE-SDE変換を必要としない。

意義と限界

この研究のポイントは、新しい損失を追加したことだけではない。蒸留は品質と効率を支え、アライメントは出力分布を好ましい方向へ動かすという、異なる役割の勾配を一つの段階で協調させている。これにより、先に調整して後から圧縮する場合の能力低下や、圧縮後にRLを適用する場合のコストと不安定性を避けられる可能性がある。

低遅延の動画生成と、画質・動き・ユーザー嗜好の両立が求められる用途では、こうした設計は有用になり得る。また、報酬モデルを介した長い学習連鎖ではなく、サンプルレベルの分布差を直接利用する点も特徴だ。

一方、提供された概要では、具体的なデータセット、指標、学習コスト、アブレーション結果までは示されていない。複数の基盤動画モデルで単独手法や二段階構成を上回ったという結論を、異なるモデルや嗜好データへどこまで一般化できるかは、本文の詳細な検証が必要である。

総じてDM-Alignは、動画生成における「高速化」と「人間への適合」を直列処理から共同最適化へ移す試みであり、強化学習への依存と蒸留後の劣化を抑える有望な方向を示している。

出典：arXiv