SoloQ：让扩散语言模型摆脱校准数据的低比特量化方案

导语

扩散语言模型试图以双向、迭代式的 token 生成机制，提供自回归模型之外的另一条路线。但这类模型的效率问题也很突出：全序列扩散需要在多个去噪步骤中反复运行完整前向计算，块扩散模型则通常还要保存持续增长的 KV-cache。随着模型规模扩大，低比特量化成为降低显存和推理成本的重要手段。

问题在于，扩散语言模型的激活值并不是稳定分布。掩码状态和去噪阶段不断变化，使传统依赖代表性样本的后训练量化方法难以找到始终有效的校准范围。SoloQ 的核心目标，正是把量化从“依赖样本调参”转向“依据可预测分布设计”。

核心方法

• 校准无关的旋转变换：SoloQ 将权重和激活映射到归一化的旋转基空间，使旋转后的边际分布更容易预测。这样，量化器可以在不读取校准数据的情况下确定量化规则。
• 结构化 K-RPBH 旋转：该方法采用结构化旋转降低变换带来的额外负担，并结合轻量级重缩放修正，以改善量化后的数值表示。
• 匹配分布的码本与 NVFP4：可预测的旋转后分布既能支持专门设计的分布匹配码本，也能适配硬件原生的 NVFP4 格式，为不同部署环境提供选择。
• 提交时压缩 KV-cache：针对块扩散模型，SoloQ 不直接扰动当前正在去噪的区块，而是在区块提交后量化其持久化 KV 状态，以减少缓存占用。

实验信息与意义

论文在 LLaDA、Dream 等全序列扩散语言模型，以及 Fast-dLLM v2、Nemotron-Labs-Diffusion 等块扩散模型上进行评估。素材显示，SoloQ 在 4-bit 设置下保持了模型准确率，并在知识和推理类基准上超过所比较的校准式方法。使用 NVFP4 时，论文报告峰值显存最高可降低 2.61 倍，端到端推理最高可加速 2.24 倍。

这项工作的价值不只是把模型压到更低比特。对于扩散模型而言，激活分布随生成状态变化，校准数据覆盖不足可能成为部署瓶颈。SoloQ 试图用变换后的统计规律替代大规模样本搜集，因而更适合需要快速适配不同模型、任务或推理状态的场景。与此同时，KV-cache 的处理说明量化不能只关注矩阵乘法中的权重和激活，还必须考虑扩散解码过程中持续存在的状态。

当然，论文摘要并未给出所有模型、任务和硬件条件下的详细结果，因此实际收益仍需结合具体实现验证。总体而言，SoloQ 为扩散语言模型的低比特部署提供了一个兼顾算法、缓存和硬件格式的方案，也反映出 dLLM 推理优化正在从单纯压缩参数，转向系统级协同设计。

来源：Hugging Face Daily Papers