BYOD：只用 LoRA，把自回归语言模型改造成扩散模型

导语

扩散语言模型（DLM）与主流自回归模型（AR）的生成方式不同：它不是严格按照从左到右的顺序逐个预测 token，而是从被完全掩码的序列出发，在多轮去噪中并行更新多个位置。这样做有望带来双向上下文、更灵活的生成过程，以及可调节的推理预算。不过，训练一个新的 DLM 通常需要较高成本，直接对完整模型进行微调也并不轻量。

BYOD（Build Your Own DLM）针对这一门槛提出了一条更节省参数的路径：保留原有自回归模型，只训练 LoRA 适配器，让模型学会扩散式生成。

核心要点

• 研究团队将 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 转换为双向掩码扩散语言模型。Ministral 的转换也被作者视为该模型家族的一次首次报告。
• 转换过程中，基础模型的全部参数保持冻结，LoRA 适配器仅占最终参数量的 4.1% 至 5.8%。这意味着方法不依赖完整模型重训，也没有针对不同架构设计专门的转换机制。
• 每个主要模型运行 25,000 次迭代，最多使用 1.024 亿 token；单次训练在一张 Google Colab GPU 上耗时约 3.1 至 4.0 小时。论文实验则使用了 96 GB NVIDIA RTX PRO 6000。
• 四个转换模型都能从全掩码序列生成文本，并在受控注意力实验中体现双向上下文能力；同时，它们仍保留了相当一部分原始模型知识。
• 在九项任务的评测中，BYOD-Gemma 平均准确率为 50.6%，接近同一测试环境下 LLaDA 8B Instruct 的 51.9%。

关键限制

BYOD 的优势主要体现在转换成本和实验可及性，而不是全面超过现有 DLM。开放式生成仍是短板：当生成 128 个 token、使用 64 个去噪步骤时，BYOD 模型困惑度为 8.3 至 11.1，高于 LLaDA 的 4.1，也高于其自回归父模型的 2.2 至 3.0。换言之，模型已经学会了“如何扩散式生成”，但在较低网络函数评估（NFE）预算下，文本连贯性和分布拟合仍有明显提升空间。

意义与影响

BYOD 的价值在于把 AR 到 DLM 的转换，从高成本的模型研发问题变成了更容易复现的适配器训练问题。研究者可以在不修改基础权重的情况下，快速比较不同模型架构、数据集和解码策略；开发者也能利用现有指令模型的知识，探索并行生成与可变推理步数的实际效果。

不过，LoRA 参数占比较低并不等于所有硬件都能轻松运行。原始模型规模、序列长度和训练配置仍会影响显存需求；论文模式使用的大模型适配器也需要付费 GPU。更重要的是，扩散生成在速度、步数与质量之间的平衡仍待优化。BYOD 因而更像是一套开放的研究起点，而不是已经取代自回归生成的成熟方案。项目同时提供训练笔记本、代码和交互式演示，方便进一步复核与改进。

来源：Hugging Face Daily Papers