TRACE: 장기 도구 사용 에이전트에 턴 단위 보상을 부여하다

도입

복잡한 검색이나 브라우징 과제를 수행하는 에이전트는 최종 답변을 내기 전까지 수십 번, 때로는 그 이상의 도구 호출을 거친다. 이때 강화학습 보상을 단순히 “마지막 답이 맞았는가”로만 주면 학습 신호가 지나치게 희소해진다. 실패한 경로에도 유용한 탐색 행동이 들어 있을 수 있고, 성공한 경로에도 불필요한 호출이 포함될 수 있기 때문이다.

arXiv 논문 “TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents”는 바로 이 문제를 다룬다. TRACE는 추가 critic을 학습하거나 단계별 라벨을 수집하지 않고도, 장기 에이전트 학습에 더 촘촘한 턴 단위 보상을 제공하려는 방법이다.

핵심 아이디어

• 결과 보상만으로는 부족하다. 짧은 추론 문제에서는 최종 결과 보상이 꽤 효과적일 수 있다. 하지만 도구 호출이 길게 이어지는 환경에서는 보상이 희소하고 분산이 커지며, 실패한 rollout의 모든 행동을 동일하게 벌주는 문제가 생긴다.
• 도구 호출 경계에서 상태를 나눈다. TRACE는 에이전트의 trajectory를 도구 호출 전후의 상태 전이로 표현한다. 이를 통해 각 호출이 문맥을 얼마나 개선했는지 비교할 수 있다.
• 동결 참조 모델로 상태 가치를 추정한다. 각 상태에서 참조 모델이 정답을 생성할 로그확률을 구하고, 이를 log-ratio 형태의 상태 가치로 변환한다.
• 시간차 변화가 행동 보상이 된다. 어떤 도구 호출 뒤에 정답이 더 그럴듯해졌다면 해당 행동은 긍정적인 credit을 받는다. 반대로 답에서 멀어지게 한 호출은 낮은 보상을 받게 된다.
• 별도 critic이나 과정 라벨이 필요 없다. 이는 단계별 인간 주석이 비싸거나 추가 가치 모델 학습이 부담스러운 환경에서 확장 가능한 후학습 접근으로 볼 수 있다.

논문이 보고한 결과

저자들은 TRACE를 장기 복잡 검색 과제에 적용했다. 초록에 따르면 이 방법은 cold-start supervised fine-tuning 단계, agentic mid-training 단계, live-web 데이터 학습 없이 순수 강화학습만으로 기본 모델의 도구 사용 능력을 끌어올렸다.

closed-web BrowseComp-Plus 벤치마크에서는 Qwen3-4B가 7.2에서 35.6으로, Qwen3-30B-A3B가 8.4에서 42.6으로 향상됐다고 보고됐다. 또한 학습된 검색 행동은 open-web 벤치마크로도 전이됐으며, 학습 곡선에서 더 이른 개선과 빠른 수렴이 관찰됐다고 설명한다.

의미와 영향

TRACE가 주목받는 이유는 새로운 에이전트 제품을 제안해서가 아니라, 장기 행동열에서 중간 행동의 가치를 평가하는 근본 문제를 겨냥하기 때문이다. 검색 에이전트, 브라우저 에이전트, 복잡한 도구 체인을 쓰는 시스템에서는 최종 정답 하나만으로 학습을 안내하기 어렵다.

논문의 결과가 더 다양한 모델과 과제에서도 재현된다면, TRACE는 에이전트 강화학습의 실용적인 방향을 보여준다. 기존 참조 모델을 활용해 최종 정답 데이터에서 더 세밀한 보상을 추출하고, 사람의 과정 주석이나 별도 critic에 대한 의존을 줄이는 접근이 가능해질 수 있다.

출처: arXiv