AV-GRPO、音声・映像生成の強化学習をモダリティ別に分解

背景

音声と映像を同時に生成するモデルは、二つの出力を作るだけでなく、画面上の動き、音の発生、入力テキストの内容を一致させる必要があります。強化学習による後学習は、こうした品質を改善する可能性がありますが、複数の報酬を一度に扱うと、どの更新が音声、映像、意味の整合性、同期のどれに効いたのかを判断しにくくなります。

AV-GRPO は、この信用割り当ての問題を訓練プロセスの分解によって解決しようとする、音声・映像向けのオンライン拡散強化学習フレームワークです。二つのモダリティを常に同じ条件で最適化するのではなく、一方を基準として扱い、学習信号を整理します。

主な仕組み

• モダリティを基準にした rollout：一方のモダリティをアンカーとしてサンプルを生成・比較し、サンプル難度の揺れと異なる報酬の混在を抑えます。
• 軌跡を固定した凍結塔最適化：一方のモダリティを更新する間、もう一方の塔を凍結し、関連する生成軌跡を固定します。これにより、性質の異なる二つの塔を同時に更新するコストを下げ、報酬を更新対象へ割り当てやすくします。
• モダリティ適応型の目的関数：音声と映像では、拡散過程への感度や学習の進み方が異なります。AV-GRPO は目的関数と摂動強度を一律にせず、それぞれに合わせて調整します。

さらに、5DAV はサンプルを五つの次元で分解し、難度を制御できる学習データセットとして提案されています。単にデータを増やすのではなく、各モダリティの能力とクロスモーダル同期を個別に分析しやすくする設計です。

意義と限界

評価には JavisBench と VABench が用いられ、LTX-2.3 を基盤として LoRA 微調整と全パラメータ微調整が比較されています。提供された概要によれば、AV-GRPO は生成品質、意味的整合性、音声・映像同期でベースラインを上回り、アブレーション実験でも各設計の効果が検証されています。

この研究の意義は、マルチモーダル強化学習を単純な報酬の加算として扱っていない点にあります。同期評価ではペアになったサンプルの難度が比較を左右し得るため、基準となるモダリティを置く考え方は、より公平な学習信号につながる可能性があります。また、片方の塔を凍結することで、計算資源とモダリティ間の干渉を抑えられます。

一方、提示された素材には具体的な指標値や、長時間の映像・複雑な音環境への一般化に関する詳細は含まれていません。改善幅を判断するには、論文本文と公開コードの確認が必要です。

出典：Hugging Face Daily Papers