拡散モデルへの強化学習(RL)後学習は、画像品質や文字描画、複数オブジェクトの構図を改善することがあります。こうした能力はプロンプトに左右されるため、モデルが入力ごとに異なる複雑な変換を学ぶ必要がある、と考えるのは自然です。今回の研究は別の見方を示します。改善の多くは、事前学習済みモデルがすでに持つ能力を、望ましい方向へ誘導することで説明できるかもしれません。
凍結モデルに固定ベクトルを追加
研究者はモデル本体を更新せず、凍結した拡散Transformerの各ブロック出力に、固定されたステアリングベクトルを加えました。このベクトルはプロンプト、テキストトークン、サンプリングシードにかかわらず同一です。つまり、入力に応じた個別の調整は行いません。まず公開済みのRL調整済みチェックポイントが出す速度予測に近づくようベクトルを学習させましたが、この目的関数には報酬を使っていません。
SD3.5-Mでは、ベクトルのパラメーター数は0.29Mです。RL調整済みLoRAの18.8Mと比べて約65分の1にあたります。それでも、RL調整済み画像モデル6種で報酬向上の90.0~96.3%を再現したと報告されています。動画モデル2種では、それぞれ89.8%と111.9%でした。後者は報告された評価で比較対象を上回ったという意味であり、動画生成のあらゆる側面で優れることを示すものではありません。
さらに、ベクトルをゼロから初期化してオンラインRLで学習する実験も行われました。SD3.5-Mでは、文字描画を測るOCRと、人間の好みを反映するPickScoreで、重みを更新するRLより大きな報酬向上を得たといいます。
研究の意義と留意点
この結果は、プロンプトに依存する能力を伸ばすには、必ず入力依存の新しい計算が必要だという見方に疑問を投げかけます。固定の介入でも出力を大きく変えられるなら、基盤モデルは必要な能力をすでに備え、後学習はその能力が生成に現れる度合いを調節している可能性があります。モデルの挙動を少ないパラメーターで分析する手法としても注目できます。
ただし、すべてのRL効果が固定ベクトルで説明できると証明されたわけではありません。今回の結果は特定のモデルと報酬指標に基づくもので、別のタスクやプロンプト分布では入力ごとの適応が重要になる可能性があります。また、報酬の改善だけでは、他の品質や生成の多様性が保たれるとは限りません。慎重に言えば、検証された実験では活性化の固定誘導が測定された改善の大部分を再現しており、その説明がどこまで通用するかは今後の評価が必要です。
コメント
ログイン状態を確認中…
コメントを読み込み中…