Specter：用量化草模提前预测专家，缓解 MoE 推理的 PCIe 瓶颈

大型混合专家模型（MoE）并不一定让每个 token 都经过全部参数，但模型包含的大量专家仍可能超出单张 GPU 的显存容量。一个常见解决办法是把部分专家放在主机内存中，需要时再通过 PCIe 搬到加速器。然而，专家选择由输入动态决定，系统往往要等路由结果产生后才能发起传输，数据搬运因此落在推理关键路径上。对于逐 token 生成任务，这种等待会直接拉高每输出 token 时间（TPOT）。

Specter 的核心思路，是把“推测解码”从减少验证计算扩展到预测未来的专家使用。系统在设备侧运行一个轻量的量化草稿模型，先对后续若干步的路由和专家激活进行预测。运行时可以利用这些预测，提前调度专家从主机内存向设备移动，并组织相关计算；当正式模型进行验证时，部分专家已经就位，从而减少通信与执行之间的串行等待。

核心要点包括：

• 量化承担双重角色：它不仅压缩草稿模型，使其更适合在有限显存中运行，也让设备侧的快速预测成为可能。
• 从单步响应转向多步预取：传统按需卸载通常在当前路由确定后才搬运专家，Specter 则尝试利用未来几步的信息安排专家移动。
• 准确性是关键约束：草稿模型需要保留较高保真的专家激活模式。预测偏差可能导致预取收益下降，但摘要没有给出错误率、失误代价或具体容错机制。
• 面向受限硬件：论文聚焦单请求、单 GPU 推理，目标是让超出显存容量的 MoE 模型更适合在普通硬件上运行。

根据论文摘要，在单请求推理测试中，Specter 相较当前先进系统的 TPOT 平均提升 1.50 倍，最高提升 1.88 倍。这个结果说明，MoE 卸载的瓶颈不只是内存容量，也在于系统能否提前知道下一步要用什么，并把 PCIe 通信与模型执行重叠起来。

不过，现有素材仍不足以判断该方法在不同 PCIe 链路、主机内存类型、专家预测错误率以及并发请求下的表现。评论中提出的 DDR4 桌面平台适应性问题，也需要论文完整实验进一步回答。总体而言，Specter 提供了一条有价值的系统优化路径：用低成本的量化预测换取更积极的专家预取，并将 MoE 推理从“等待路由、再搬数据”推进到“预测路由、提前准备”。

来源：Hugging Face Daily Papers