CAST, 행동 비평 학습으로 장기 도구 호출 에이전트의 신뢰성 향상

들어가며

대규모 언어 모델 에이전트가 환불, 고객 지원, 의료 관련 안내처럼 여러 단계를 거치는 업무에 투입되면서, 한 번의 응답 정확도만으로는 성능을 설명하기 어려워졌다. 에이전트는 도구를 연속적으로 호출하고 변화하는 상태를 추적하며 도메인 정책을 지켜야 한다. 이 과정에서 잘못된 구매 건에 환불을 실행하는 것과 같은 단 한 번의 오류가 작업 전체를 되돌릴 수 없는 실패로 만들 수 있다. 게다가 이런 오류는 매 실행마다 나타나지 않아 반복 시험에서야 드러나기도 한다.

논문 CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents는 비평을 단순한 프롬프트 기반 점검이 아니라 학습 가능한 감독 신호로 바꾸는 프레임워크를 제안한다.

CAST의 접근법

CAST는 최종 작업 결과의 성공 또는 실패만 사용하는 대신, 에이전트의 궤적을 분석해 행동 수준의 정보를 합성한다.

• 궤적 분석: 도구 호출을 당시의 환경 상태와 최종 결과의 맥락에서 검토한다.
• 구조화된 근거 생성: 부분적으로만 관찰 가능한 환경에서도 행동이 타당한지, 위험한지, 정책과 충돌하는지를 설명한다.
• 비평 모델 학습: 전체 궤적에 성공·실패 라벨을 붙이는 데 그치지 않고 개별 행동을 검증하도록 학습한다.
• 정책 모델 최적화: 비평 모델이 만든 정보를 포함한 학습 데이터를 구성해, 정책 모델이 상태와 규칙을 더 잘 고려하도록 개선한다.

이 설계는 두 가지 기존 접근법 사이의 공백을 겨냥한다. 프롬프트 기반 비평 에이전트는 설명을 만들 수 있지만, 그 설명이 일관된 학습 데이터가 된다는 보장은 없다. 반대로 결과 중심 최적화 방식은 희소한 보상이나 성공 여부를 활용할 수 있어도, 왜 특정 행동이 잘못됐는지 알려 주는 풍부한 검증 근거가 부족할 수 있다. CAST는 행동 수준의 비평을 매개로 두 방식을 연결하려 한다.

공개된 평가 결과

연구진은 동적인 도구 호출 벤치마크에서 Qwen3 계열 모델을 미세 조정했다. 논문 초록에 따르면 Retail 작업의 pass^4 지표에서 GPT-OSS-120B보다 10%포인트 이상 높은 성능을 보였고, 도메인 외 설정의 Telehealth에서는 추가로 9%포인트 개선됐다. 핵심은 한 번의 호출을 맞히는 것이 아니라, 상태가 이어지고 여러 번 반복되는 실행에서도 작업을 안정적으로 완료하는지에 있다.

의미와 한계

에이전트 학습에서 최종 실패 라벨은 지나치게 거칠 수 있다. 실제 개선에 필요한 정보는 어떤 단계에서 문제가 발생했는지, 당시 어떤 상태를 놓쳤는지, 어떤 정책 제약을 잘못 해석했는지까지 포함한다. 행동별 근거를 학습할 수 있다면 에이전트는 실패한 뒤 거부하는 수준을 넘어, 실행 전에 스스로 행동을 확인하는 방향으로 발전할 가능성이 있다.

다만 제공된 자료만으로는 근거 생성에 필요한 계산 비용, 비평 모델이 잘못된 판단을 전달할 가능성, 더 다양한 도구와 정책으로의 일반화 정도를 확인할 수 없다. 실제 서비스에서는 비평 단계가 추가하는 지연과 새로운 오류 지점도 함께 평가해야 한다.

출처: Hugging Face Daily Papers