GPTQ-2D：把双侧自适应舍入从四次时间降到三次时间

导语

GPTQ 已经成为大模型权重量化中常被讨论的技术关键词之一。它背后的数学形式可以理解为一种自适应舍入：不是把每个实数元素孤立地四舍五入，而是在一个二次度量下逐项处理矩阵元素，并把已经产生的舍入误差反馈给尚未处理的位置。Hugging Face Daily Papers 收录的论文《GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding》关注的并不是一个新的模型，而是一个更基础的算法问题：当舍入目标从“一侧”推广到“双侧”时，能否避免直接向量化带来的高昂代价？

核心要点

• 从一侧到双侧的舍入问题：传统 GPTQ 或等价的 Babai 最近平面算法，可以看作在固定顺序下对矩阵元素进行整数舍入，并通过三角反馈矩阵传播误差。论文研究的双侧版本中，残差的左侧和右侧都受到固定非奇异基矩阵作用；常见的一侧情形只是右侧基矩阵为单位矩阵时的特例。

• 朴素做法可行但代价高：如果把矩阵展平成向量，双侧目标会变成一个标准的一维二次度量问题，其 Gram 矩阵具有 Kronecker 积结构。这样确实可以直接套用已有的一维算法，但在矩阵维度上会达到四次时间复杂度，限制了实际可用性。

• GPTQ-2D 的关键改写：论文提出的 GPTQ-2D 并不改变最终舍入结果，而是改变计算路径。它利用双侧结构中的依赖关系，按反对角线一批一批地处理矩阵元素。更重要的是，位于同一条反对角线上的元素彼此独立，因此可以并行舍入。

• 复杂度从四次降到三次：GPTQ-2D 产生的舍入矩阵与直接向量化后运行一维算法得到的结果相同，但时间复杂度降为三次。这一点使它更像是对既有数学目标的高效实现，而非改变优化目标的近似替代。

意义与影响

这项工作的价值在于，它把量化中常见的自适应舍入框架放到更一般的双侧线性变换背景下考察，并给出了结构化加速方法。对于模型压缩和推理优化研究而言，许多性能提升并不来自更激进的启发式，而来自对矩阵结构、依赖顺序和误差传播方式的重新组织。GPTQ-2D 的反对角线调度说明，在保证输出一致的前提下，算法工程仍有压缩复杂度的空间。

需要注意的是，摘要并未提供具体模型实验、精度对比或硬件吞吐数据，因此不能把它解读为某个现成量化系统的端到端性能突破。更准确地说，这是一篇偏理论和算法层面的论文：它为双侧自适应舍入给出了更高效的精确计算方式，也为后续在量化、矩阵近似或相关数值线性代数任务中的实现提供了可参考的基础。

来源：Hugging Face Daily Papers