BYOD、LoRAだけで自己回帰モデルを拡散言語モデルへ変換

概要

拡散言語モデルは、通常の自己回帰モデルとは異なる方法で文章を生成します。左から右へトークンを一つずつ予測するのではなく、最初に全位置をマスクし、複数回のデノイジングで同時にトークンを埋めていきます。この仕組みにより、双方向の文脈利用、柔軟な生成順序、推論ステップ数の調整が可能になります。一方、新しい拡散言語モデルを事前学習したり、既存モデル全体を微調整したりするには大きなコストが必要です。

BYOD（Build Your Own DLM）は、この問題に対してLoRAだけを使う変換レシピを提案しました。元の自己回帰モデルのパラメータは固定し、拡散型の生成方法を学ぶアダプターだけを追加します。

主な結果

• Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B、Ministral 8Bを双方向のマスク拡散モデルへ変換しました。Ministralについては、著者らが初の報告例だと説明しています。
• すべての基盤モデルの重みを凍結し、LoRAアダプターの規模は最終パラメータ数の4.1〜5.8%にとどまりました。モデル全体の再学習や、アーキテクチャごとの専用調整は不要です。
• 各変換は2万5000回の反復で、使用トークン数は最大1億240万。Google ColabのGPU 1枚で約3.1〜4.0時間かかりました。論文の実験では96 GBのNVIDIA RTX PRO 6000が使われています。
• 4モデルとも完全にマスクされた系列から生成でき、制御された注意機構のテストでは双方向コンテキストの利用も確認されました。親モデルの知識も相当程度維持されています。
• 9タスクの評価でBYOD-Gemmaは平均50.6%の正解率を達成し、同じ評価環境のLLaDA 8B Instructの51.9%に近い結果でした。

残る課題

BYODの強みは、既存の拡散モデルを全面的に上回ることではなく、変換実験への参加障壁を下げた点にあります。自由生成の品質はなお主要な弱点です。128トークンを64ステップで生成した場合、BYODの困惑度は8.3〜11.1で、LLaDAの4.1、親の自己回帰モデルの2.2〜3.0を上回りました。つまり、拡散方式で生成する仕組みは獲得できても、少ないNFE（ネットワーク関数評価）予算で自然さや分布適合度を維持するには改善が必要です。

意義と影響

BYODは、自己回帰モデルから拡散モデルへの移行を、全面的な事前学習ではなくアダプター学習の問題として捉え直します。研究者は基盤モデルの重みを変更せず、データセットや復号方法を比較できます。また、既存の指示調整モデルが持つ知識を活用しながら、並列更新や可変デノイジングを試せます。

ただし、大規模な親モデルを扱う以上、メモリ要件は残ります。論文相当の設定には有料GPUも必要です。速度、品質、ステップ数の最適なバランスもまだ確立されていません。BYODは自己回帰生成を置き換える完成品というより、検証と改良を始めやすくする研究基盤と見るのが適切です。学習ノートブック、コード、ブラウザ上のデモも公開されています。

出典：Hugging Face Daily Papers