AI 에이전트 요청 9.4배 증가에도 비용을 억제한 Uber의 방법

들어가며

기업이 AI 코딩을 대규모로 도입하면 관심사는 “코드를 생성할 수 있는가”에서 “많은 에이전트를 안정적인 비용으로 운영할 수 있는가”로 바뀐다. Uber가 공개한 소프트웨어 팩토리 구축 사례는 이 변화를 잘 보여준다. 2026년 2월부터 8월 중순까지 Uber의 모든 AI 에이전트 제품에서 주간 활성 사용자는 7배, 주간 요청 수는 9.4배 증가했다. 그러나 4월 이후 총 AI 지출은 대체로 안정적이었다. 같은 모델을 고정한 비교에서는 1000회 요청당 비용이 최고점보다 약 34% 낮아졌고, 세션당 비용은 6월 최고점 대비 52% 감소했다.

이 성과는 특정 저가 모델 하나에 의존한 결과가 아니다. 반복되는 입력, 불필요한 추론 단계, 과도한 도구 정보, 근거 없는 검색을 실행 체계 곳곳에서 줄인 결과다.

핵심 전략

실제 업무로 모델을 평가한다. Uber는 일반 벤치마크 대신 코드 리뷰와 소프트웨어 엔지니어링의 실제 작업을 평가 세트로 만든다. 작업 완료 비용, 품질, 신뢰성, 지연 시간, 타임아웃, 잡음, 정밀도·재현율·F1 등을 함께 비교해 비용과 성능이 모두 우수한 파레토 최적 구성을 선택한다. 주 에이전트가 작업 분해와 평가를 맡고, 경계가 명확한 하위 작업은 더 경제적인 모델을 사용한다.

요청마다 반복되는 토큰을 줄인다. 대화형 에이전트는 매 턴 대화 기록, 프로젝트 문맥, 도구 결과를 다시 전송한다. Uber는 40만 토큰에서 자동 압축을 실행하고, 기본 추론 강도를 중간 수준으로 설정해 비싼 출력 및 추론 토큰을 억제한다. 프롬프트 캐시의 TTL도 세션 특성에 따라 다르게 운영한다. 장시간 이어지는 개발자 세션에는 긴 TTL을, 짧게 끝나는 하위 에이전트에는 짧은 TTL을 적용하는 방식이다.

MCP 도구를 필요한 순간에만 불러온다. 모든 MCP Schema를 세션 시작부터 로드하면 실제로 사용하지 않는 도구에도 토큰 비용이 발생한다. Uber는 MCP 게이트웨이를 중심으로 도구를 CLI 명령으로 제공하고, 검색을 통해 필요한 정의만 불러온다. 코드 모드에서는 폴링과 반복 작업을 하위 프로세스에서 처리하고 모델에는 요약만 반환한다. 동일한 SQL 작업을 비교한 결과 토큰 사용량은 절반 이상 줄었으며, 배치 작업에서는 절감 효과가 더 커졌다.

컨텍스트 그래프로 탐색을 줄인다. 방대한 코드와 데이터 환경에서 에이전트는 코드를 작성하는 것보다 정보의 위치를 찾는 데 많은 턴을 소비할 수 있다. Uber는 서비스, 팀, 장애, PR, 설계 문서, 데이터셋, 과거 사용 기록을 연결한 컨텍스트 그래프를 구축했다. 에이전트가 사실에 기반해 검색을 시작하도록 해 추측성 탐색과 불필요한 하위 에이전트 실행을 줄이는 방식이다.

비용을 실시간으로 드러낸다. 실행 중 비용 카운터, 공유 지출 한도, 알림, 승인 절차, 세션 분석 대시보드를 통해 개발자는 비용 원인을 확인할 수 있다. 대시보드는 과도하게 강한 모델 사용, 문맥 창 팽창, 캐시 만료, 대형 도구 정의의 사전 로딩 같은 비효율 패턴을 찾아 개선 방향을 제시한다.

의미와 한계

Uber의 사례는 AI 비용 관리를 소프트웨어 엔지니어링의 한 영역으로 다뤄야 한다는 점을 보여준다. 조직은 작업 결과를 정의하고, 실제 업무 기반 평가를 만들며, 품질·신뢰성·지연·비용을 함께 측정해야 한다. 무조건 모델을 낮추기보다 중복 입력, 무의미한 라운드, 도구 노이즈, 근거 없는 탐색을 먼저 제거하는 편이 품질을 지키면서 비용을 낮추는 방법이 될 수 있다.

다만 공개된 절감률은 Uber의 코드베이스와 인프라, 팀 구성, 워크로드에 기반한 수치다. 다른 조직이 같은 결과를 그대로 재현한다고 보기는 어렵다. 재사용 가능한 핵심은 숫자가 아니라 호스팅 에이전트를 하나의 운영 시스템으로 보고, 모든 최적화 효과를 실제 업무 평가와 연결하는 방법론이다.

출처: InfoQ 中文