NLD-Uni：让离散扩散模型同时理解与生成视觉内容

导语

视觉语言模型通常擅长理解图像和回答问题，但图像生成往往依赖另一套连续扩散或流匹配系统。离散扩散语言模型则尝试用统一的 token 预测框架处理文本与视觉内容，不过在同时获得可靠理解能力和高质量生成能力方面仍有明显挑战。Hugging Face Daily Papers 收录的 Nemotron-Labs-Diffusion-Uni（NLD-Uni），正是针对这一问题提出的一种统一方案。

NLD-Uni 将视觉理解和视觉生成都放进离散扩散语言模型中，并围绕“如何学习不同范式的能力”以及“如何让生成过程不断修正”设计了两项关键机制。论文摘要显示，该模型覆盖视觉问答、多模态推理、目标定位、文生图和图像编辑等任务。

核心要点

• 跨范式在线策略蒸馏。 NLD-Uni 引入统一的 Cross-Paradigm On-Policy Distillation（OPD）框架，试图把自回归视觉语言模型的视觉理解能力，以及连续流模型的视觉生成能力，迁移到同一个离散扩散模型中。这里的重点不只是模仿最终输出，而是让学生模型在自身生成轨迹上学习不同教师范式提供的行为信息。
• 从直接掩码转向渐进扰动。 传统 masked diffusion 往往把干净图像 token 直接替换成缺乏信息的 mask token。NLD-Uni 则在训练时跨多个步骤逐渐破坏每个 token，使模型面对更连续的退化过程。
• 推理阶段允许中间提交。 渐进式训练让模型可以在生成过程中暂时确认部分 token，并在后续步骤继续检查和修正。与一次性从 mask 状态恢复内容相比，这种机制更接近“先形成局部判断，再逐步完善”的生成流程。
• 覆盖理解与生成任务。 根据论文摘要，NLD-Uni 在多类视觉任务上进行评估，包括视觉问答、多模态推理、目标定位、文本到图像生成和图像编辑。素材未提供具体数据集、模型规模或指标，因此不能据此判断其相对优势的具体幅度。

意义与影响

NLD-Uni 的价值首先在于统一训练目标的探索。过去，视觉理解通常受益于自回归建模，而视觉生成更常依赖连续扩散或流模型；两者在 token 表示、生成方向和优化方式上存在差异。OPD 的思路，是把这些不同来源的能力放入同一条离散扩散学习路径中，从而降低“理解模型”和“生成模型”彼此割裂的程度。

渐进式自修正则回应了离散扩散生成中的另一个问题：如果模型过早确定错误 token，后续步骤可能难以恢复。通过多步扰动和中间提交，模型有机会在更细粒度的阶段重新评估局部结果。这可能有助于改善图像细节与整体一致性，但实际效果仍取决于推理步数、解码策略和计算成本。

从更长远的角度看，NLD-Uni 展示了一条把视觉理解、生成和编辑统一到离散 token 空间的路线。它是否能在效率、可控性和生成质量上全面超越专用系统，还需要结合完整论文、公开代码和更多独立评测验证。现有素材足以说明其方法创新，但不足以支持对具体性能或商业落地的过度判断。

来源：Hugging Face Daily Papers