返回文章列表

QDA:让智能体闭环设计大模型量化方案

阅读约 2 分钟

大模型量化能降低部署成本,但“把模型压到更低比特”并不等于找到合适方案。不同模型、不同精度下,量化方法和参数组合可能各有优劣;若每次都由专家手工尝试,过程既耗时,也未必能找到最佳配方。QDA(Quantization Design with Agents)提出把这项工作交给智能体,在多轮构建与评估中自动调整后训练量化方案。

核心做法:缩短搜索反馈周期

QDA的流程类似量化工程师的迭代:智能体提出配方,系统构建量化模型,评估结果后再决定下一步怎么改。它的关键不是单纯增加尝试次数,而是降低每轮试验的成本。

  • 用 KL 散度快速筛选。 系统比较量化模型与原始模型在推理轨迹上的输出分布差异。用于评估的轨迹不会提供给智能体,单次评分只需数分钟,相比完整评测所需的数十 GPU 小时大幅缩短。
  • 再用长生成排查故障。 KL 分数适合快速比较候选,但不等于最终任务表现。QDA会对有希望的方案进行长文本生成检查,以发现重复循环等问题。
  • 让量化方法更容易组合。 系统提供包含 21 种公开后训练量化方法的兼容库,方法可以按不同顺序叠加,并支持适配新模型架构。论文称,一次八小时搜索最多可评估 36 个候选方案。

结果与实际意义

在四个推理模型的实验中,QDA相较最强公开配方,在 W4A16、W4A8、W3A16 设置下的平均准确率分别提高 0.9、1.4 和 2.2 个百分点;每次搜索使用 64 GPU 小时。对于 3200 亿参数的 GLM-5.3-Flash,在 NVFP4(W4A4)下,一次 6.5 小时、花费 69 美元的搜索,达到 FP8 模型准确率的 98.3%;论文给出的最佳厂商检查点为 96.9%。研究还报告,给同一智能体换用 NVIDIA ModelOpt 工具后,它在 Qwen3.6-35B 上落后 0.5 至 1.3 个百分点,说明工具库与搜索流程会影响结果。

这项工作的价值在于把量化从一次性的手工调参,变成可重复的自动搜索流程。它并没有消除评估需求:快速 KL 分数仍需由长生成等检查补充,实验结果也不能直接保证所有模型和任务都能获益。论文称,生成的检查点可运行于现有服务内核,且不增加推理开销;若这一兼容性在更多模型上成立,自动化量化有望降低低比特部署的工程门槛。搜索本身仍要消耗 GPU 资源,智能体调用成本则为 19 至 75 美元。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章