Wattage: AI 에이전트의 토큰 낭비를 CI에서 막는 비용 프로파일러

도입

AI 에이전트의 비용 문제는 단순히 비싼 모델을 사용해서만 발생하지 않습니다. 안정적인 프롬프트 접두사를 매번 다시 보내거나, 검색을 반복해도 관련 결과를 얻지 못하거나, 같은 도구 호출을 되풀이하거나, 간단한 단계에 과도한 reasoning token을 쓰는 식의 구현 세부사항에서 비용이 새어 나가는 경우가 많습니다.

Wattage는 이런 문제를 측정하기 위한 에이전트용 “전력계”에 가깝습니다. OpenTelemetry GenAI semantic convention에 따른 OTLP JSON trace를 입력으로 받아 각 모델 호출의 토큰 사용량을 분해하고, 가격을 매기고, 낭비 패턴과 수정 방향을 제시합니다. 기본 사용에는 설정 파일이나 API 키가 필요 없으며 완전히 오프라인으로 실행됩니다.

핵심 내용

• trace 기반 분석: wattage report trace.json 명령으로 입력, 출력, 캐시 읽기, 캐시 생성, reasoning 등 항목별 토큰 사용량을 확인할 수 있습니다.
• 실제 비용 환산: 프로젝트에 포함된 날짜가 있는 가격 스냅샷으로 호출 비용을 계산합니다. 가격을 알 수 없는 모델은 임의로 추정하지 않고, CI에서는 명확히 실패하도록 처리합니다.
• 8가지 탐지기: 안정적인 프롬프트 접두사의 반복 전송, 캐시 활용 부족, 과도한 출력, 중복 도구 호출, 비수렴 루프, 검색 thrash, 모델 미스매치, reasoning 과소비를 탐지합니다.
• CI 비용 회귀 gate: wattage ci는 점수 하락, 비용 증가율, 심각한 finding 조건에 따라 빌드를 실패시킬 수 있으며 PR 코멘트, SARIF, JUnit XML도 생성합니다.
• 점수와 배지: wattage score와 wattage badge는 0~100 Token Efficiency 등급을 만들어 README와 자동 리뷰에 활용할 수 있게 합니다.

Wattage가 강조하는 기능 중 하나는 convergence engine입니다. 특히 nonconvergence detector는 에이전트가 계속 무언가를 하는 것처럼 보이지만 실제로는 진전이 없는 루프를 잡아내는 데 초점을 둡니다. 예를 들어 매번 새 timestamp가 붙는 재시도, 두 전략 사이를 오가는 패턴, 호출 내용은 모두 다르지만 새로 얻는 정보가 없는 정체 상태가 여기에 해당합니다.

프로젝트는 손으로 검토한 10개의 라벨링된 합성 루프를 기준으로 벤치마크를 공개했습니다. 이 결과에서 Wattage의 Precision, Recall, F1은 모두 1.00으로 보고됩니다. 반면 SHA-256 완전 일치 기반 baseline은 Precision은 1.00이지만 Recall은 0.14, F1은 0.25였습니다. 이는 단순 중복 문자열 감지만으로는 에이전트의 반복 실패를 포착하기 어렵다는 점을 보여줍니다.

또한 실제 캡처된 에이전트 trace 예시에서는 안정적인 프롬프트 prefix에 캐싱을 적용하는 시뮬레이션을 통해 비용이 0.000199달러에서 0.000110달러로 줄어드는 것으로 나타났습니다. 감소율은 44.7%입니다. 3턴 데모 trace라 금액 자체는 작지만, 같은 구조가 운영 트래픽에서 반복되면 영향은 훨씬 커질 수 있습니다.

의미와 영향

에이전트가 개발 도구, 내부 자동화, 고객 지원, 검색 기반 워크플로에 들어갈수록 토큰 비용은 기능 품질만큼 중요한 엔지니어링 지표가 됩니다. 테스트는 통과했지만 프롬프트 변경이나 orchestration 변경 때문에 비용이 증가하는 상황을 막으려면, 비용도 회귀 테스트 대상이 되어야 합니다.

Wattage는 품질 리스크도 함께 다룹니다. 모델 다운그레이드나 reasoning 감소처럼 출력 품질에 영향을 줄 수 있는 최적화는 quality map 근거가 있을 때만 점수에 반영됩니다. 즉, 단순히 더 싸게 만드는 것이 아니라 품질 리스크를 표시한 상태에서 비용을 관리하도록 설계된 것입니다.

종합하면 Wattage는 이미 trace를 보유한 팀이나 OpenTelemetry 계측을 도입하려는 에이전트 개발팀에 적합합니다. 업무 품질 평가를 대체하지는 않지만, 토큰 낭비를 재현 가능하고 감사 가능한 자동화 신호로 바꿔준다는 점에서 실용적인 도구입니다.

출처: Hacker News