离散扩散模型综述：从分词到生成的统一视角

导语

扩散模型在图像生成中已经非常成熟，但当对象从连续像素变成文本、蛋白质序列、分子图或表格中的离散符号时，问题会明显复杂起来。Hugging Face Daily Papers 收录的综述论文《Discrete Diffusion Models: A Unified Framework from Tokenization to Generation》试图回答一个基础问题：为什么离散数据上的扩散建模不能简单照搬图像扩散？

作者给出的核心观点是：离散扩散模型的起点不是噪声调度，也不是采样器，而是“状态空间如何被构造”。换句话说，分词方式、词表结构以及领域本身的符号系统，会直接决定模型如何破坏数据、如何学习去噪，以及最终能否生成有效结果。

核心要点

• 分词不是前处理，而是主要设计轴。 在连续图像空间里，高斯噪声有相对自然的几何含义；但在离散类别空间里，两个 token 之间是否“接近”并没有默认答案。子词、VQ 码本、氨基酸、核苷酸或原子类型，都对应不同的状态空间。
• 多类方法可放入同一框架。 论文将离散扩散拆解为四个组件：corruption operator、denoiser parameterization、training objective 和 sampler。在这个视角下，D3PM、masked diffusion、SEDD、discrete flow matching 等方法可被看作同一设计空间中的不同实例，差异往往集中在某一组件。
• 跨领域问题具有共性。 文本和代码生成关注语义与语法一致性；蛋白质和基因组更依赖自然字母表与结构约束；分子和图需要保证有效性；规划与智能体场景则重视可控修订。这些差异都可以回到“离散状态空间如何组织”来理解。
• 系统与评估不应被视为后处理。 训练目标、推理算法、扩展规律、系统优化和评价协议会共同影响离散扩散模型是否实用。论文将这些问题纳入统一设计空间，而非只在模型提出后再补充讨论。

意义与影响

这篇综述的价值不在于发布一个新模型，而在于为快速分散的离散扩散研究提供了一套整理语言。它提醒研究者：如果 token 之间的拓扑关系设计不清，所谓“加噪”和“去噪”就可能缺乏明确含义。

同时，论文也给出一个较为务实的判断：自回归模型和扩散模型未必会出现赢家通吃。自回归擅长按顺序规划与生成，扩散则适合并行解码和全局迭代修正。未来更有前景的系统，可能是自回归负责粗略规划、扩散负责细化编辑，或在现有自回归骨干上叠加扩散式修订能力。

对于关注文本生成、生物序列、分子设计和智能体规划的团队来说，这篇综述提供的最大启发是：在选择模型结构前，先认真定义离散世界的“几何”。

来源：Hugging Face Daily Papers