Cloudflare Agent Tracing, 모델·도구 실행과 토큰 사용량 시각화

들어가며

Agent가 HTTP 200을 반환했다고 해서 정상적으로 작동했다는 뜻은 아니다. 잘못된 도구를 선택하거나, 오래된 컨텍스트를 Subagent에 전달하거나, 재시도 루프에서 토큰을 계속 소모할 수 있다. 기존 애플리케이션 모니터링은 Fetch, KV, D1 같은 인프라 동작은 보여주지만, 어떤 Agent의 판단이 문제를 만들었는지는 설명하기 어렵다. Cloudflare의 Agent Tracing은 이 공백을 메우기 위한 기능이다.

인프라에서 Agent 행동으로

Agent Tracing은 Workers Tracing을 기반으로 각 상호작용에 Agent 수준의 Span을 추가한다. Agent 호출, 모델 호출, 도구 실행, 도구 승인 단계를 계층적으로 표시하고, 모델 정보와 토큰 사용량을 메타데이터로 연결한다. 부모 Agent가 Subagent에 작업을 넘긴 뒤 Subagent가 모델과 도구를 호출하고 D1을 읽거나 KV에 기록하는 경우에도, 두 계층의 작업을 하나의 워터폴에서 확인할 수 있다.

Dashboard는 세 가지 필드로 데이터를 Agent와 연결한다. Agent name은 논리적 구현을, Agent ID는 특정 인스턴스를, Conversation ID는 대화를 식별한다. 요청이나 사용자 식별자를 바탕으로 Agent name을 동적으로 만들면 Dashboard에 지나치게 많은 Agent가 생성될 수 있으므로 Cloudflare는 이를 피하라고 안내한다.

Session Replay는 여러 상호작용에 걸쳐 저장된 메시지, 추론 과정, 도구 인자와 결과, Subagent 활동을 다시 구성한다. 다만 저장된 데이터를 재생할 뿐 Agent를 다시 실행하지는 않는다. Approval Span에도 한계가 있다. 하나의 Worker invocation 내부 생명주기만 기록하며, 여러 invocation에 걸쳐 사용자가 응답하기를 기다린 시간은 포함하지 않는다. 따라서 사람의 승인 지연 전체를 측정하는 지표로 볼 수 없다.

Payload 기본값의 차이

사용하는 Harness에 따라 기본적인 Payload 저장 정책이 크게 달라진다.

• Think는 Agent class에서 storeMessages와 storeTools를 활성화하지 않으면 메시지와 도구 Payload를 저장하지 않는다.
• wrapAISDK()도 같은 방식으로 동작한다.
• Flue는 메시지, 시스템 지시, 도구 정의, 인자, 결과를 기본 저장하며, 저장을 중단하려면 content: false를 설정해야 한다.

이 데이터에는 개인정보, Secret, 내부 지시가 포함될 수 있다. 따라서 기능을 켜는 것만으로 끝내지 말고 저장 범위, 마스킹, 접근 권한, 보존 기간을 함께 검토해야 한다.

잘림과 연동, 비용

Cloudflare는 Trace가 완전하고 손실 없는 대화 기록이 아니라고 명시한다. Span 크기 제한 때문에 긴 메시지, 추론 과정, 도구 인자와 결과가 잘릴 수 있으며 Session Replay는 이미지도 표시하지 않는다. 따라서 이 기능은 완전한 감사 기록보다는 디버깅과 장애 분석에 더 적합하다.

Think와 Flue v2 이상은 각 상호작용을 자동 계측한다. AI SDK를 직접 호출한다면 wrapAISDK()로 감싸야 하고, Agent 인스턴스가 없으므로 각 호출에 식별 정보를 제공해야 한다. 사용자 정의 Harness는 Workers Custom Spans API를 사용하고 OpenTelemetry GenAI 의미 규약을 따라야 한다. Trace는 임의의 OTLP Endpoint로 내보낼 수 있지만, Workers는 현재 OpenTelemetry API를 직접 지원하지 않으며 관련 지원은 개발 중이다.

Beta 기간에는 무료지만 2026년 10월 1일부터 Workers Observability 과금 체계에 들어간다. Workers Free는 하루 20만 Event와 3일 보존을 제공하고, Workers Paid는 월 2,000만 Event와 7일 보존을 제공한다. 초과분은 100만 Event당 0.60달러다. Agents 화면에 표시되지 않는 SDK 내부 Span과 다른 Worker 계층 Span도 과금 대상에 포함된다.

의미와 영향

이번 출시는 Agent 런타임에 인프라 지표만으로는 충분하지 않은 별도의 텔레메트리 계층이 필요하다는 흐름을 보여준다. 개발자는 모델 선택, 도구 인자, 승인 단계, 토큰 사용량을 한 경로에서 확인할 수 있다. 그러나 Payload 개인정보 보호, 데이터 잘림, 승인 대기 시간의 누락, 짧은 보존 기간과 Event 기반 비용까지 함께 설계해야 실제 운영에서 안전하게 활용할 수 있다.

출처: InfoQ 中文