TTCD：给每个 Token 安排不同“时间”的连续扩散语言模型

导语

扩散模型已经在图像生成中证明了威力，但把同样的思想搬到语言建模并不容易。语言由离散 token 组成，模型在高速生成时若一次并行决定多个 token，错误会更容易累积。来自 University of Texas at Austin 的研究《Token Time Continuous Diffusion for Language Modeling》提出 TTCD，希望用“连续空间 + token 级时间”的方式缓解这一问题。

核心要点

• 在连续空间中建模语言：TTCD 不直接在离散 token 空间里反复采样，而是从高斯噪声出发，确定性地映射到最终的 token 画布。论文认为，这能减少高速生成时并行采样多个 token 带来的不准确性。
• 每个 token 拥有自己的时间进度：传统扩散过程往往对所有位置施加相同程度的噪声或同步去噪。TTCD 引入 per-token times，让不同 token 从噪声走向确定 token 的速度可以不同。
• 更适合条件生成：在有前缀或上下文约束时，并非所有位置的不确定性相同。TTCD 允许更有把握的 token 更快稳定下来，同时让其他 token 继续被上下文和相邻位置影响。
• 支持差异化的 token 间交互：由于 token 的“时间”不同，模型在细化过程中可以让某些位置先提供约束，另一些位置随后吸收信息，这为条件学习提供了更灵活的机制。

实验与结果

研究者训练了一个 160M 参数 TTCD 模型，数据集为 OpenWebText，并进一步进行自蒸馏。根据摘要，TTCD 在高加速生成场景下，与若干在相同数据上训练、规模相近且同样经过自蒸馏的已有模型相比，在无条件生成质量上达到可比水平；在条件生成中则表现更好。论文还提到，类似收益也出现在数独求解任务中。

这些结果的重点不在于模型规模本身，而在于验证一种扩散语言模型的结构选择：当生成步骤被压缩、速度被推高时，纯离散迭代模型更容易受到并行决策误差影响；TTCD 通过连续表示和不同 token 的异步演化，尝试在速度与质量之间取得更好的折中。

意义与影响

如果说自回归语言模型的核心路径是“从左到右逐个预测”，扩散语言模型则探索“整体画布逐步成形”。TTCD 的贡献在于，它没有简单地把所有位置同步处理，而是承认语言序列中不同位置的不确定性并不相同。对于前缀条件生成、填空式生成、结构化推理任务，这种机制可能更自然。

当然，素材中披露的信息仍主要来自论文摘要和页面说明，尚不足以判断其在更大规模模型、更复杂基准或真实应用中的表现。但从研究方向看，TTCD 为扩散式语言建模提供了一个值得关注的设计：让 token 不只拥有内容，也拥有各自的生成时间。

来源：Hugging Face Daily Papers