TAO, 도구 반환 준비도를 LLM 에이전트 추론 스케줄링에 통합

서론

LLM 에이전트 서비스는 일반적인 연속 텍스트 생성과 다르게 동작합니다. 하나의 세션이 GPU에서 모델 추론을 수행한 뒤 분산 CPU의 외부 도구를 호출하고, 결과를 기다린 다음 다시 모델 생성으로 돌아오는 흐름을 반복합니다. GPU 큐만 바라보는 스케줄러는 도구 응답을 기다리는 세션에 자원을 남겨 두거나 KV 캐시를 반복적으로 교체하게 만들 수 있습니다.

TAO(Tool-Aware Joint Scheduling)는 도구 호출을 단순한 일시정지 상태가 아니라 스케줄링의 핵심 신호로 다룹니다. 어떤 세션이 GPU를 필요로 하는지만이 아니라, 어떤 세션이 곧 재개될 가능성이 높은지와 어느 노드에서 효율적으로 재개할 수 있는지를 함께 판단합니다.

TAO의 작동 방식

• 도구 경계 중단. 세션이 외부 도구를 호출하면 TAO는 GPU 실행을 멈추고 용량을 해제합니다. 세션은 공유 대기 풀로 이동하며, 도구 결과가 도착한 뒤 다시 스케줄링 대상이 됩니다.
• 세 가지 요소를 이용한 가치 평가. TAO는 세션-노드 조합마다 가까운 시점의 도구 반환 준비도, 노드별 KV 캐시 크레딧, 토큰 사용량을 평가합니다. 반환 시점은 런타임 힌트와 과거 도구 실행 시간에서 추정하고, 캐시 크레딧은 시간이 지나면서 감소합니다.
• 수용과 배치의 공동 결정. 세션을 하나씩 탐욕적으로 라우팅하는 대신 비동기 동적 계획법을 사용해, GPU 용량 제약 안에서 대기 세션을 선택하고 노드에 배치합니다. 보고된 런타임 오버헤드는 0.12% 미만이며, 계획 이후 상태가 바뀌면 비동기 재검증으로 대응합니다.

결과와 트레이드오프

평가는 DeepSeek-V4 Flash, Qwen3-32B, GLM-4.7을 대상으로 모델·워크로드·동시성 조합 12개 설정에서 진행됐습니다. 각 지표에서 가장 성능이 좋았던 평가 기준선과 비교하면, TAO는 지연시간을 최대 26.8%, 평균 첫 토큰 시간(TTFT)을 최대 36.3% 줄였고 디코드 처리량을 최대 29.5% 높였습니다.

다만 TAO는 포화 상태에서 모든 요청을 즉시 GPU 엔진에 넣지 않을 수 있습니다. 의도적인 대기를 통해 활성 KV 캐시가 축출되거나 재계산되는 현상을 줄이기 때문입니다. 128개 워커를 사용한 AutomationBench 사례에서 평균 TTFT는 TAO가 19.1초로 Dynamo의 3.2초보다 높았습니다. 그 대신 전체 작업 지연시간은 1417.2초에서 563.1초로 줄었고, 디코드 처리량은 482.4 token/s에서 1013.2 token/s로 증가했습니다.

의미와 영향

TAO가 제시하는 중요한 관점은 에이전트 서비스의 스케줄링 맥락을 GPU 여유 공간만으로 정의해서는 안 된다는 것입니다. 외부 도구의 시간적 특성, KV 캐시 지역성, GPU 계산을 하나의 결정 문제로 다뤄야 합니다. 초기 배치가 개선되면 이후 대화 턴에서도 캐시를 더 많이 유지할 수 있어, 메모리 단편화와 큐 정체가 연쇄적으로 줄어들 가능성이 있습니다.

도구 호출이 많고 부하가 급변하며 KV 캐시 예산이 제한적인 서비스라면 이 접근은 특히 유용한 참고점이 됩니다. 그러나 실제 효과는 도구 실행시간 예측의 정확도, 노드 간 이질성, 즉각적인 TTFT와 전체 작업 완료시간 중 무엇을 우선하는지에 따라 달라질 수 있습니다. 따라서 운영 환경에서는 평가 함수뿐 아니라 기존 추론 엔진에 공동 스케줄러를 통합하는 방식도 중요합니다.

출처: Hugging Face Daily Papers