NLD-Uni、視覚理解と画像生成を一つの離散拡散モデルに統合

導入

現在のマルチモーダル AI では、画像を理解して質問に答えるモデルと、画像を生成・編集するモデルが別々に設計されることが多い。自回帰型のビジョン・ランゲージ・モデルは推論や質問応答に強い一方、画像生成では連続拡散モデルやフローモデルが広く利用されている。離散拡散言語モデルは両者を同じ token 予測の枠組みにまとめる可能性を持つが、理解能力と生成品質を同時に維持することは容易ではない。

Nemotron-Labs-Diffusion-Uni（NLD-Uni）は、この統合を目指す離散拡散言語モデルである。提案の焦点は、異なる生成方式で学習された能力をどう移植するか、そして生成途中の誤りをどう段階的に修正するかの二点にある。

主なポイント

• 方式をまたぐオンポリシー蒸留。 NLD-Uni は Cross-Paradigm On-Policy Distillation（OPD）という枠組みを導入する。自回帰型 VLM から視覚理解能力を、連続フローモデルから視覚生成能力を移し、単一の離散拡散モデルに統合する狙いだ。生徒モデル自身の生成過程に沿って学習する点が、単純な出力模倣との違いになる。
• mask への一括置換を避ける。 従来の masked diffusion では、クリーンな画像 token を情報量の少ない mask token に直接置き換えることがある。NLD-Uni は学習中、各 token を複数ステップにわたって徐々に劣化させ、中間的な状態も学習対象にする。
• 推論中の確定と再修正。 モデルは一部の token を途中で確定しながら、別の部分を後続ステップで改善できる。全体を一度に復元するのではなく、局所的な判断を積み重ねて画像を仕上げる設計である。
• 理解から生成・編集まで評価。 概要では、視覚質問応答、マルチモーダル推論、対象のグラウンディング、テキストから画像への生成、画像編集が評価対象として挙げられている。ただし、提供素材にはモデル規模、ベンチマークの具体的な値、アブレーション結果は示されていない。

意義と今後の論点

NLD-Uni の意義は、単に画像機能を追加するのではなく、異なる学習パラダイムの能力を同じ離散 token 空間にまとめようとしている点にある。自回帰モデルは通常、系列を順番に伸ばす。一方、拡散モデルは不完全な状態を何度も変換する。この差があるため、教師モデルの最終出力だけを利用しても、学生モデルの生成過程にそのまま適合するとは限らない。OPD は、自身の拡散軌跡に沿った学習を通じて、その隔たりを埋めようとする。

段階的な自己修正も重要だ。早い段階で誤った token を固定すると、後のステップで周囲の文脈を見ても修正しにくい可能性がある。徐々に劣化させ、中間状態で判断できるようにすることで、局所的な詳細や全体整合性の改善が期待される。ただし、推論ステップ数、サンプリング方法、計算量とのトレードオフは、完全な実験結果を確認する必要がある。

NLD-Uni は、理解・生成・編集を一つのモデルで扱うマルチモーダル基盤への一つの方向性を示す。概要からは有望な設計が読み取れるものの、専用モデルを全面的に上回ると判断するには、論文全体の表、公開実装、独立した再現評価が必要だ。

出典：Hugging Face Daily Papers