Evolving Infra: 에이전트에 적응하는 LLM 추론 인프라

들어가며

에이전트 애플리케이션을 위한 LLM 추론은 단일 질문에 한 번 답하는 서비스와 다릅니다. 코딩 에이전트, 수학 추론 에이전트, 컴퓨터 사용 에이전트는 여러 단계에 걸쳐 모델을 반복 호출하고, 작업이 진행되는 동안 컨텍스트를 계속 추가합니다. 따라서 어떤 순간에는 Prefill 계산이 집중되고, 다른 순간에는 Decode 생성이 병목이 됩니다. 이전 단계에서 만든 컨텍스트를 KV Cache로 보존하고 다른 노드로 옮기는 문제도 함께 발생합니다.

Hugging Face Daily Papers에 소개된 Evolving Infra: Agent-Adaptive LLM Serving at Scale은 이런 변동성을 추론 인프라가 직접 다뤄야 한다고 제안합니다. Prefill 노드와 Decode 노드를 고정적으로 나누는 대신 실행 중 워크로드 구성에 따라 계산 자원을 재배치합니다. 동시에 에이전트의 컨텍스트 관리에서 얻은 신호를 KV Cache의 제거와 전송 결정에 활용합니다.

핵심 내용

• 계산 자원과 캐시 관리를 분리합니다. 기존 Prefill-Decode(PD) 분리 시스템은 노드 역할을 미리 정하고 변경하기 어려운 경우가 있습니다. Evolving Infra는 계산 자원 배분과 KV Cache 관리를 분리해 노드가 Prefill과 Decode 사이를 더 효율적으로 전환하도록 설계했습니다.
• PD 비율을 온라인으로 조정합니다. 온라인 플래너는 현재 워크로드의 구성을 보고 Prefill과 Decode에 필요한 자원 비중을 맞춥니다. 한쪽 노드 풀에는 요청이 몰리고 다른 쪽은 유휴 상태가 되는 문제를 줄이는 것이 목표입니다.
• 에이전트의 컨텍스트 재사용을 고려합니다. 에이전트는 이전 단계에서 쌓은 컨텍스트를 이후 호출에서 다시 사용할 수 있습니다. 제안된 분산 KV 관리자는 컨텍스트 관리 관련 신호를 바탕으로 캐시 제거와 노드 간 전송을 유도합니다.
• 여러 작업과 대규모 GPU에서 검증합니다. GLM-5.2와 Kimi K2.6을 사용해 코딩, 수학, 컴퓨터 사용 작업을 평가했으며, 최대 256개의 GB300 GPU까지 확장했습니다. 논문에 따르면 NVIDIA의 프로덕션 프레임워크 Dynamo와 비교해 평균 종단 간 요청 지연은 최대 4.1배, P95 첫 토큰 지연은 최대 14배 감소했습니다.

의미와 한계

이 연구가 보여주는 방향은 추론 서비스를 정적인 자원 배치에서 워크로드의 행동에 반응하는 시스템으로 전환하는 것입니다. 에이전트 환경에서 지연은 토큰 계산량만으로 결정되지 않습니다. 반복 호출, 단계별 부하 변화, 재사용할 수 있었던 컨텍스트의 캐시 손실도 성능에 영향을 줍니다. 요청의 현재 단계와 워크로드 구성, 컨텍스트의 수명을 함께 고려한다면 계산 활용률과 캐시 재사용 사이의 균형을 개선할 여지가 있습니다.

다만 논문에서 제시한 개선 폭은 특정 작업, 모델, GPU 구성과 Dynamo 비교에 기반한 결과입니다. 모든 운영 환경에서 동일한 효과가 보장된다는 의미는 아닙니다. 실제 도입 시에는 온라인 계획 자체의 오버헤드, 노드 간 캐시 전송 비용, 사용 중인 에이전트 프레임워크가 제공하는 컨텍스트 신호의 품질을 함께 검토해야 합니다.

에이전트가 LLM 추론 수요에서 차지하는 비중이 커질수록 서빙 시스템은 단순한 토큰 처리량뿐 아니라 에이전트의 호출 패턴과 컨텍스트 재사용 방식에도 적응해야 합니다. Evolving Infra는 이러한 변화에 대응하는 하나의 설계 방향을 제시합니다.

출처: Hugging Face Daily Papers