离散扩散模型的新统一视角：从分词到生成

导语

扩散模型在图像领域的成功，很大程度上得益于连续空间中天然存在的几何结构：像素或潜变量可以被高斯噪声逐步扰动，模型再学习如何反向去噪。但当对象变成文本、代码、蛋白质序列或分子图时，问题立刻变得复杂。离散 token 之间没有默认的“距离”，把一个词替换成另一个词、把一个氨基酸换成另一个氨基酸，究竟算多大的扰动，并不是显而易见的。

这篇《Discrete Diffusion Models: A Unified Framework from Tokenization to Generation》试图为离散去噪扩散模型建立一个统一视角。作者的核心判断是：离散扩散模型的关键不只是噪声日程或采样器，而是离散状态空间本身如何被构造。换句话说，分词方案、词表结构以及特定领域的符号体系，决定了腐化过程的拓扑、去噪任务的难度、生成结果的可控性与合法性，也影响计算成本。

核心要点

• 把 tokenization 提升为模型设计中心：论文将离散状态空间分为语义 token（如子词）、量化 token（如 VQ codebook）和自然字母表（如氨基酸、核苷酸、原子类型）。这些选择并非输入预处理，而会直接塑造模型能学到什么、怎样出错以及如何修正。
• 提出四组件框架：作者用“腐化算子、去噪器参数化、训练目标、采样器”来描述离散扩散。D3PM、masked diffusion、SEDD、离散 flow matching 等方法，都可被看作该设计空间中的不同实例，很多差异只集中在其中一两个组件。
• 覆盖多领域应用图谱：论文讨论范围不局限于文本生成，还延伸到代码、多模态、蛋白质、基因组、分子与图、规划和智能体、表格数据等离散或结构化数据场景。
• 把系统与评估纳入设计空间：作者特别强调，扩展规模、推理效率、系统优化和评估协议不应是后续补丁，而应与模型形式一起考虑。

意义与影响

这项工作的重要性在于，它为一个快速增长但术语分散的方向提供了整理框架。过去，离散扩散常被分别包装为掩码生成、转移矩阵建模、ratio/score 估计或 flow matching，容易让研究者误以为它们是彼此孤立的路线。统一框架有助于看清：不同方法往往是在同一生成流程中选择了不同的状态空间、腐化规则和反向估计方式。

更现实的判断是，离散扩散未必会全面取代自回归模型。自回归方法在顺序建模、长程生成和现有基础设施上仍有明显优势；扩散方法则擅长并行解码、全局迭代修正和编辑式生成。未来更可能出现的是混合系统：先用自回归模型完成规划或草稿，再用扩散模型做局部或全局 refinement；或者在已有自回归骨干上叠加扩散式编辑能力。

对于开发者和研究者来说，这篇综述的提示很直接：做离散扩散时，首先要问的不是“采用哪种采样技巧”，而是“我的 token 空间是否合适”。状态空间设计一旦错位，后续训练目标、推理算法和评估指标都可能被迫补救。反过来，若能把领域结构编码进 token 与词表拓扑，离散扩散在科学建模、结构生成和可控编辑中的潜力会更清晰。

来源：Hugging Face Daily Papers