離散拡散モデルを読み解く：生成の鍵はトークン化にある

導入

画像生成で拡散モデルが成功した背景には、連続空間という扱いやすさがある。画素値には固定された状態空間があり、ガウスノイズを加えることにも自然な幾何学的意味がある。一方で、テキスト、タンパク質、分子、コード、グラフ、表形式データのような離散データでは事情が異なる。あるトークンを少しだけ乱すとは何か、という問いに自明な答えはない。

Hugging Face Daily Papers に掲載されたサーベイ「Discrete Diffusion Models: A Unified Framework from Tokenization to Generation」は、この難しさを正面から扱う。中心的な主張は、トークン化は単なる前処理ではなく、離散拡散モデルの最重要設計軸だというものだ。状態空間の作り方が、ノイズの入れ方、デノイジングの難しさ、制御性、妥当性、計算コストを決める。

核心ポイント

• 離散状態空間の設計が出発点になる。 連続画像ではノイズの意味が比較的明確だが、カテゴリ空間ではトークン同士の近さを設計しなければならない。サブワード、VQ コードブック、アミノ酸、核酸、原子タイプなどは、それぞれ異なる拡散の舞台を作る。
• 複数の手法を一つの枠組みで理解できる。 論文は、corruption operator、denoiser parameterization、training objective、sampler という四つの構成要素で離散拡散を整理する。この視点では、D3PM、masked diffusion、SEDD、discrete flow matching は個別の孤立した方法ではなく、同じ設計空間の異なる選択肢として見える。
• 応用領域を横断して整理できる。 テキストやコードでは意味と構文の一貫性が重要であり、タンパク質やゲノムでは自然な生物学的アルファベットが基盤になる。分子やグラフでは有効性の担保が不可欠で、計画やエージェントでは後から修正できる制御性が問われる。
• 評価やシステム面も設計の一部である。 学習目的、推論アルゴリズム、スケーリング、システム最適化、評価プロトコルは、モデルの後付け要素ではない。実用的な離散拡散モデルを作るうえで、これらは最初から考慮すべき要素だと論文は強調する。

意義と影響

この論文の意義は、新しい単一モデルを提案する点ではなく、急速に広がる離散拡散研究に共通言語を与える点にある。分野ごとに別々に語られてきた手法を、状態空間の構成という観点で見直すことで、比較や設計の基準が明確になる。

また、自己回帰モデルと拡散モデルの関係についても現実的な見方を示している。自己回帰は順序立てた計画や生成に強く、拡散は並列生成や全体的な修正に向いている。今後はどちらか一方が勝つというより、自己回帰で大枠を作り、拡散で編集・洗練するようなハイブリッド構成が重要になりそうだ。

離散データを扱う研究者にとっての教訓は明確である。サンプラーや目的関数を選ぶ前に、まずその領域の「離散的な幾何」をどう定義するかを考える必要がある。

出典：Hugging Face Daily Papers