記事一覧へ戻る

拡散モデルのRL後学習、その多くは活性化の誘導か

読了目安 3 分

拡散モデルへの強化学習(RL)後学習は、画像品質や文字描画、複数オブジェクトの構図を改善することがあります。こうした能力はプロンプトに左右されるため、モデルが入力ごとに異なる複雑な変換を学ぶ必要がある、と考えるのは自然です。今回の研究は別の見方を示します。改善の多くは、事前学習済みモデルがすでに持つ能力を、望ましい方向へ誘導することで説明できるかもしれません。

凍結モデルに固定ベクトルを追加

研究者はモデル本体を更新せず、凍結した拡散Transformerの各ブロック出力に、固定されたステアリングベクトルを加えました。このベクトルはプロンプト、テキストトークン、サンプリングシードにかかわらず同一です。つまり、入力に応じた個別の調整は行いません。まず公開済みのRL調整済みチェックポイントが出す速度予測に近づくようベクトルを学習させましたが、この目的関数には報酬を使っていません。

SD3.5-Mでは、ベクトルのパラメーター数は0.29Mです。RL調整済みLoRAの18.8Mと比べて約65分の1にあたります。それでも、RL調整済み画像モデル6種で報酬向上の90.0~96.3%を再現したと報告されています。動画モデル2種では、それぞれ89.8%と111.9%でした。後者は報告された評価で比較対象を上回ったという意味であり、動画生成のあらゆる側面で優れることを示すものではありません。

さらに、ベクトルをゼロから初期化してオンラインRLで学習する実験も行われました。SD3.5-Mでは、文字描画を測るOCRと、人間の好みを反映するPickScoreで、重みを更新するRLより大きな報酬向上を得たといいます。

研究の意義と留意点

この結果は、プロンプトに依存する能力を伸ばすには、必ず入力依存の新しい計算が必要だという見方に疑問を投げかけます。固定の介入でも出力を大きく変えられるなら、基盤モデルは必要な能力をすでに備え、後学習はその能力が生成に現れる度合いを調節している可能性があります。モデルの挙動を少ないパラメーターで分析する手法としても注目できます。

ただし、すべてのRL効果が固定ベクトルで説明できると証明されたわけではありません。今回の結果は特定のモデルと報酬指標に基づくもので、別のタスクやプロンプト分布では入力ごとの適応が重要になる可能性があります。また、報酬の改善だけでは、他の品質や生成の多様性が保たれるとは限りません。慎重に言えば、検証された実験では活性化の固定誘導が測定された改善の大部分を再現しており、その説明がどこまで通用するかは今後の評価が必要です。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
GRPOの密な報酬は追加計算量に見合うのか
強化学習
cctest.ai
強化学習

GRPOの密な報酬は追加計算量に見合うのか

1668回の実験と6モデルを用いた研究は、生成トークン数とGPU時間をそろえると、モンテカルロ型の密なプロセス報酬が標準GRPOを上回らないことを示した。不確実な問題を選んで学習する方法は、より小さいながら再現性のある改善を示した。

続きを読む
CCTest · Blog
FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法
強化学習
cctest.ai
強化学習

FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法

FewStepRLは、少ないサンプリングステップで動作する拡散モデル向けに、既存の強化学習目的を体系的に適応する枠組みです。報酬が微分可能で勾配計算を負担できる場合は報酬勾配型が有効で、それ以外ではDiffusionNFT系が有力な選択肢になります。

続きを読む
CCTest · Blog
非同期強化学習では重要度サンプリングだけでは足りない
強化学習
cctest.ai
強化学習

非同期強化学習では重要度サンプリングだけでは足りない

vLLM Blogは、rolloutと学習側のカーネルをビット単位でそろえたうえで、クリップしない重要度サンプリングを使うREINFORCE Zeroを紹介した。これにより、古い重みで生成されたデータを使う非同期学習を安定化できるという。

続きを読む