Evolving Infra：让大模型推理基础设施适应智能体工作负载

导语

随着编码助手、自动化操作代理和多步推理系统普及，LLM 推理不再只是“输入一次、输出一次”的简单请求。智能体会反复调用模型，持续追加上下文，并在不同阶段呈现截然不同的输入输出特征。这使推理集群同时面临 Prefill 计算压力、Decode 持续生成压力，以及上下文缓存如何保留和迁移的问题。

Hugging Face Daily Papers 收录的论文 Evolving Infra: Agent-Adaptive LLM Serving at Scale，提出了一套面向智能体工作负载的自适应服务框架。其核心思路不是把 Prefill 和 Decode 节点永久固定，而是让基础设施根据运行中的工作负载变化重新分配计算资源，并用智能体的上下文管理信息辅助 KV Cache 决策。

核心要点

• 解耦计算分配与缓存管理。 传统 Prefill-Decode（PD）解耦方案通常预先设定两类节点的比例。Evolving Infra 将计算角色与 KV Cache 管理拆开，使节点能够更高效地在 Prefill 和 Decode 之间切换。
• 通过在线规划器调整 PD 比例。 系统根据当前工作负载的组成，动态匹配 Prefill 与 Decode 资源，而不是依赖固定的集群切分。这有助于缓解一侧排队、另一侧闲置的负载失衡。
• 让缓存策略理解智能体上下文。 智能体可能在后续步骤重新使用此前生成或积累的上下文。论文提出的面向智能体的分布式 KV Manager，利用上下文管理相关信号指导缓存驱逐和跨节点传输，目标是减少有价值缓存被过早移除。
• 覆盖多类任务和大规模硬件。 评估涉及编码、数学和计算机操作任务，使用 GLM-5.2 与 Kimi K2.6，并扩展到最多 256 张 GB300 GPU。论文报告称，相比 NVIDIA 的生产框架 Dynamo，平均端到端请求延迟最高降低 4.1 倍，P95 首 Token 延迟最高降低 14 倍。

意义与影响

这项工作所强调的变化，是把推理服务从静态资源编排推进到“理解工作负载行为”的运行时系统。对于智能体应用，延迟瓶颈往往不只来自模型计算量，也来自多轮调用之间的资源波动和上下文复用失败。若调度器能够同时观察请求阶段、任务组成和上下文生命周期，就有机会在计算吞吐与缓存命中之间取得更好的平衡。

不过，摘要给出的结果主要是论文所报告的特定任务、模型和硬件配置下的比较，不能直接等同于所有生产环境中的收益。实际部署仍需关注规划开销、跨节点缓存传输成本，以及不同智能体框架对上下文信号的支持程度。总体而言，Evolving Infra 展示了一个值得关注的方向：未来的 LLM Serving 系统可能不再只围绕 token 吞吐优化，而会进一步围绕智能体的行为和记忆模式进行适配。

来源：Hugging Face Daily Papers