TTCD：各トークンに異なる「時間」を持たせる連続拡散型言語モデル

導入

拡散モデルは画像生成で大きな成果を上げてきましたが、言語への適用は簡単ではありません。テキストは離散的なトークン列で構成されるため、高速化のために複数トークンを並列に決めると、誤りが広がりやすくなります。University of Texas at Austin の研究「Token Time Continuous Diffusion for Language Modeling」は、この課題に対し TTCD という新しい枠組みを提案しています。

中核となるアイデア

• 連続空間で言語を扱う：TTCD は離散トークン空間で何度もサンプリングするのではなく、ガウスノイズから最終的なトークンキャンバスへ決定論的に写像します。これにより、高速生成時に複数トークンを同時サンプリングすることによる不正確さを避けやすくなるとされています。
• トークンごとの時間：最大の特徴は per-token time です。すべての位置を同じ速度でノイズからトークンへ変化させるのではなく、位置ごとに進行速度を変えます。
• 条件付き生成への適合：接頭辞や文脈が与えられた生成では、各位置の不確実性は同じではありません。より確かなトークンを先に安定させ、他のトークンは周囲から影響を受けながら精緻化できます。
• 位置間の相互作用を柔軟化：トークンごとに生成段階が異なるため、ある位置が先に制約を与え、別の位置が後からそれを取り込むような処理が可能になります。

報告された結果

研究者らは OpenWebText 上で 160M パラメータの TTCD モデルを学習し、その後自己蒸留を行いました。要約によれば、高速化された生成条件において、無条件生成の品質は同規模・同データ・自己蒸留済みの既存モデルと同程度であり、条件付き生成ではそれらを上回ったとされています。また、数独解法でも同様の改善が報告されています。

この研究の焦点は、単に別の拡散型言語モデルを作ることではありません。高速化のために反復回数を減らすと、離散空間での並列トークン決定が誤差の原因になりやすいという問題に対し、連続表現と非同期的なトークン進行で対応しようとしている点が重要です。

意義と影響

自己回帰型モデルが通常、左から右へ順番に生成するのに対し、拡散型言語モデルは文章全体を徐々に整える発想に近いものです。TTCD はそこに、すべての位置が同時に成熟する必要はない、という視点を加えました。

これは、接頭辞条件付き生成、穴埋め生成、構造化推論のように、位置ごとの制約や不確実性が異なるタスクで特に意味を持つ可能性があります。ただし、現時点の素材は論文概要と紹介ページに限られるため、大規模化や実運用での評価については慎重に見る必要があります。それでも TTCD は、拡散型言語モデルにおいて「時間」を系列全体ではなく各トークンに割り当てるという興味深い方向性を示しています。

出典：Hugging Face Daily Papers