離散拡散モデルを統一的に見る：鍵はトークン化と状態空間

導入

画像生成で拡散モデルが成功した背景には、連続空間に自然な幾何がある。ピクセルや潜在変数にはガウスノイズを段階的に加えることができ、モデルはその逆過程を学習すればよい。しかし、対象がテキスト、コード、タンパク質配列、ゲノム、分子、グラフになると事情は大きく変わる。単語やアミノ酸、原子タイプを別の記号に置き換える操作が、どれほど「小さな」変化なのかは自明ではない。

「Discrete Diffusion Models: A Unified Framework from Tokenization to Generation」は、この問題を離散拡散モデルの中心課題として位置づけるサーベイである。著者らの主張は明確だ。離散拡散においてトークン化は単なる前処理ではなく、状態空間そのものを定義する設計軸である。どのような記号体系を選ぶかが、破壊過程のトポロジー、復元タスクの難しさ、生成結果の妥当性や制御性、計算コストを左右する。

主要ポイント

• トークン化を中心に据える視点：論文は、サブワードのような意味的トークン、VQ コードブックのような量子化トークン、アミノ酸・核酸・原子タイプのような自然なアルファベットを整理している。どの表現を選ぶかで、モデルが壊し、推定し、修正できる内容が変わる。
• 4要素からなる統一フレームワーク：離散拡散は、破壊演算子、デノイザのパラメータ化、訓練目的、サンプラという4つの部品で記述できる。D3PM、マスク拡散、SEDD、離散 flow matching は、この共通空間の異なる実装として捉えられる。
• 幅広い応用領域の整理：対象はテキストやコードに限られない。マルチモーダル生成、タンパク質、ゲノム、分子とグラフ、計画とエージェント、表データまでを含む。
• スケーリングと評価も設計対象：推論アルゴリズム、システム最適化、スケール時の挙動、評価プロトコルも後付けの工程ではなく、モデル設計の一部として扱われる。

意義と影響

このサーベイの価値は、急速に広がる離散拡散研究を同じ地図の上に並べた点にある。従来、転移行列ベースの手法、吸収状態やマスクを用いる手法、score/ratio ベースの手法、flow matching 系の手法は別々の流派として語られがちだった。だが、統一フレームワークを使うと、それらの多くは同じ生成過程の一部を変えたものとして理解できる。

また、論文は自己回帰モデルと拡散モデルを単純な勝敗関係として見ていない。自己回帰モデルは順序生成や既存基盤の面で強く、離散拡散は並列生成、全体的な反復修正、編集的な生成に向いている。将来は、自己回帰モデルで計画や下書きを行い、拡散モデルで洗練するようなハイブリッド構成が有力になりそうだ。

実務的には、損失関数やサンプラを選ぶ前に、まず状態空間をどう作るかを問うべきだという示唆が大きい。領域構造を反映したトークンと語彙設計ができれば、離散拡散は科学データ、構造生成、制御可能な編集においてより強力な選択肢になり得る。

出典：Hugging Face Daily Papers