Evolving Infra：エージェント向け適応型LLM推論基盤

導入

エージェント向けのLLM推論は、単発の質問に回答するサービスとは性質が異なります。コーディングエージェントや数学推論エージェント、コンピューター操作エージェントは、複数回にわたってモデルを呼び出し、途中でコンテキストを追加しながら処理を進めます。その結果、Prefillに負荷が集中する段階と、生成を継続するDecodeの段階が頻繁に入れ替わり、再利用できるコンテキストをKV Cacheとして保持・転送する必要も生じます。

Hugging Face Daily Papersで紹介された Evolving Infra: Agent-Adaptive LLM Serving at Scale は、このような変化を前提にした推論サービスの設計を提案しています。Prefill用とDecode用の計算資源を固定的に分けるのではなく、実行時のワークロードに応じて配分を変えます。さらに、エージェントのコンテキスト管理から得られる情報を、KV Cacheの追い出しやノード間転送に利用します。

主なポイント

• 計算資源とキャッシュ管理を分離。 既存のPrefill-Decode（PD）分離システムでは、ノードの役割をあらかじめ固定することがあります。Evolving Infraはこの二つを切り離し、ノードがPrefillとDecodeの間を効率的に切り替えられるようにします。
• PD分割をオンラインで調整。 オンラインプランナーが現在のワークロード構成に合わせてPrefillとDecodeの比率を決めます。これにより、一方のノード群だけが待ち行列を抱え、もう一方が余る状況の緩和を目指します。
• エージェントを考慮したKV Cache管理。 エージェントは過去のステップで蓄積したコンテキストを後で再利用する可能性があります。提案された分散KVマネージャーは、コンテキスト管理に関する信号を使い、追い出しと転送を誘導します。
• 複数タスクと大規模GPUで評価。 GLM-5.2とKimi K2.6を用い、コーディング、数学、コンピューター操作のタスクを、最大256基のGB300 GPUで評価しています。論文の報告では、NVIDIAの本番フレームワークDynamoと比べ、平均エンドツーエンドリクエスト遅延は最大4.1倍、P95のTTFTは最大14倍低下しました。

意義と限界

この研究の重要な点は、推論基盤を静的なリソース分割から、ワークロードの振る舞いに応答するシステムへ近づけていることです。エージェントの遅延は、トークン計算量だけで決まりません。呼び出しの繰り返し、処理段階の変化、再利用可能なコンテキストがキャッシュから失われることも影響します。リクエストの段階、ワークロードの構成、コンテキストの寿命を考慮できれば、計算効率とキャッシュ再利用のバランスを改善できる可能性があります。

一方、報告された改善幅は、論文が示したタスク、モデル、GPU構成、そしてDynamoとの比較に基づくものです。すべての本番環境で同じ効果が得られることを意味するわけではありません。実運用では、計画処理のコスト、ノード間のキャッシュ転送、エージェント基盤がどの程度有用なコンテキスト信号を提供できるかも検討する必要があります。

エージェント利用が推論需要の大きな部分を占めるにつれ、LLM Servingは単なるトークン処理速度だけでなく、エージェントの呼び出し方と記憶の再利用方法にも適応する方向へ進みそうです。

出典：Hugging Face Daily Papers