AgentBaton, 에이전트 작업에서 고성능 모델과 효율 모델을 교대 운용

장기 에이전트 작업은 한 번의 질의로 끝나지 않는다. 모델은 계획을 세우고, 도구와 환경을 여러 차례 사용하며, 결과를 관찰한 뒤 다음 행동을 결정한다. 모든 단계를 고성능 클라우드 모델로 처리하면 안정성을 높일 수 있지만 호출이 누적될수록 비용도 커진다. 반면 저가 클라우드 모델이나 로컬에서 실행할 수 있는 소형 모델은 비용이 낮지만 복잡한 추론과 오류 복구에서는 성능이 부족할 수 있다.

AgentBaton은 두 종류의 모델이 하나의 작업 안에서 협력할 수 있는지 살핀다. 각 요청을 독립적으로 분배하는 일반적인 query-level routing과 달리, 한 모델이 작업을 일정 부분 진행한 뒤 현재 문맥과 상태를 다른 모델에 전달하고 계속 실행하게 하는 방식이다.

핵심 내용

• 교대 방향이 중요하다: 효율 모델에서 고성능 모델로 넘기는 방식은 고성능 모델만 계속 사용하는 경우보다 성능이 낮아지는 일이 많았고, 비용 절감도 제한적이거나 없었다. 반대로 고성능 모델이 중요한 추론과 작업 기반을 마련한 뒤 효율 모델로 넘기는 전략은 더 유망했다.
• 반복적인 전환이 필요하지 않다: 실험 결과는 작업의 적절한 단계에서 한 번만 넘겨도 협력의 장점을 얻을 수 있음을 시사한다. 복잡한 다중 라우팅 구조를 반드시 도입할 필요는 없다는 의미다.
• AgentBaton이 인계 시점을 찾는다: 경량 탐지기가 작업 진행 과정에서 반복적으로 나타나는 패턴을 학습해 언제 제어권을 넘길지 판단한다.
• 비용과 정확도의 균형을 개선한다: 11개 모델 조합과 두 개의 대표 벤치마크에서 API 비용을 평균 65.9% 절감하면서 정확도를 대체로 유지했다. 설정에 따라 고성능 모델 단독 실행보다 정확도가 최대 8.8%포인트 향상됐으며, 다양한 추론 강도 실험에서도 정확도와 비용의 경험적 Pareto 전선을 확장했다.

의미와 한계

실무적으로 중요한 메시지는 고성능 모델이 에이전트 워크플로 전체를 독점할 필요는 없다는 점이다. 계획 수립, 어려운 의사결정, 위험한 오류 복구는 고성능 모델이 맡고, 작업이 규칙적이고 이어가기 쉬운 상태가 되면 저가 모델이나 로컬 모델로 넘길 수 있다. 이 방식은 반복적인 추론 비용을 낮추고 고가 클라우드 모델에 대한 의존도도 줄일 가능성이 있다.

다만 인계 시점이 너무 빠르면 아직 해결되지 않은 추론을 효율 모델이 떠안게 되고, 너무 늦으면 절감할 비용이 줄어든다. 다음 모델이 상황을 제대로 이해하려면 필요한 문맥을 정확히 전달해야 한다는 조건도 있다. 따라서 이번 결과는 모든 작업에 적용되는 보편적 규칙이라기보다 에이전트 오케스트레이션을 설계할 때 참고할 원칙으로 보는 편이 타당하다.

AgentBaton의 핵심 관점은 모델 선택을 “어떤 모델이 답하는가”에서 “언제 제어권을 넘기는가”로 확장한 데 있다. 단계가 뚜렷하고 비용에 민감한 장기 에이전트 작업이라면, 단순한 모델 인계 전략은 실제 시스템에서 검토할 가치가 있다.

출처: Hugging Face Daily Papers