LLM 推理能耗并非按 Token 等价计费：SIMPLE 模型揭示 KV Cache 的隐性成本

生成式 AI 通常按 Token 计费，但“一个 Token 一个价格”的直觉并不准确。随着序列生成，历史 Token 会被写入 KV Cache，后续 Token 需要持续访问这部分缓存，因此同一条序列中越靠后的 Token，可能承担越高的计算和内存访问成本。

从拟合公式走向架构感知模型

论文《The SIMPLE Law for Energy Cost of LLM Inference》试图回答一个实际问题：能否仅根据模型架构和输入输出长度，估算一次推理究竟消耗多少能量？研究者从计算复杂度和内存访问复杂度出发，建立了覆盖多头注意力（MHA）与分组查询注意力（GQA）的解析表达式，并据此提出 SIMPLE，即用于预测 LLM 能耗的四参数模型。

与依赖每个模型单独拟合的经验公式不同，SIMPLE 将推理拆成三个具有不同成本来源的部分：输入阶段的 prefill、解码阶段的 KV Cache 访问，以及生成下一个 Token 所需的计算。模型输入参数包括隐藏维度、层数、查询头数量、KV 头数量，以及输入和输出 Token 数量。这样的拆分让模型不只是“预测得准”，也能解释能耗为何变化。

研究得到的几个关键结论

• 在 13 个稠密模型、6 个模型家族和 NVIDIA H100 GPU 的测试轨迹上，SIMPLE 的 R² 为 0.969，MAPE 为 11.97%；相较研究中提到的现有最佳模型，误差降低约 3.1 至 3.5 倍，且无需针对每个 LLM 单独校准。
• Prefill 能耗会随隐藏维度呈二次增长。这意味着在长上下文场景中，模型规模越大，输入阶段的能耗压力越明显。
• GQA 通过减少 KV 头数量降低缓存相关开销。研究结果显示，更激进的 KV 分组相较标准 MHA，单 Token 能耗最多可降低约 3 倍。
• 推理 Token 预算并非越高越划算。随着输出长度增加，KV Cache 会不断扩大；当推理长度超过由模型解析得到的能耗最低点后，能耗会呈超线性增长。准确率可能继续提升，但“每焦耳智能”会在中等预算附近达到峰值。

对部署的意义

这项工作把推理能耗从一个只能事后测量的指标，推进为可在部署前估算的架构属性。服务商可以据此比较不同模型、上下文长度和注意力设计的成本，开发者也能更谨慎地设置最大输出长度与推理预算。对于长上下文和复杂推理任务，优化重点不应只放在矩阵计算吞吐上，还要关注 KV Cache 的容量、带宽和访问次数。

不过，SIMPLE 的验证范围主要是论文所述的 13 个稠密模型和 H100 GPU。不同硬件、量化方式、批处理策略及系统实现，仍可能带来额外偏差。因此，它更适合作为架构级估算和方案比较工具，而不是替代真实设备测量的万能电表。

来源：Hugging Face Daily Papers