소형 모델과 LLM이 제어를 나누는 JevAgentHarness

들어가며

오늘날의 LLM 에이전트는 환경을 읽고, 다음 행동을 판단하고, 도구를 선택한 뒤 결과를 해석하는 과정을 반복한다. 이때 매 단계마다 대형 언어 모델을 호출하면 긴 작업에서 지연과 비용이 빠르게 늘어난다. 특히 다음에 어떤 도구를 사용할지와 같은 판단은 여러 선택지 중 하나를 고르는 문제인 경우가 많다. JevAgentHarness는 이런 반복적인 선택을 더 작고 빠른 의사결정 모델에 맡기고, 불확실한 경우에만 LLM을 호출하는 혼합 구조를 제안한다.

핵심 내용

• 단일 질문을 넘어 전체 에이전트를 평가한다. 연구진은 AgentDecisionBench를 만들고, 고립된 의사결정 문제부터 공개 벤치마크와 DecisionGym의 실행 중 에이전트까지 단계적으로 측정했다.
• 국소 정확도가 전체 성공을 보장하지 않는다. 단일 문제에서 가장 정확했던 의사결정 모델도 에이전트 작업의 69.5%만 해결했다. 한 번의 잘못된 도구 선택이 이후 상태를 바꾸고 연쇄적인 오류를 만들 수 있기 때문이다.
• 신뢰도 임계값으로 위임을 제어한다. 임계값을 맞추지 않고 도구 선택을 바로 위임하면 성공률이 19.0%포인트 하락했다. JevAgentHarness는 에이전트가 실제로 만든 궤적을 이용해 선택별 임계값을 맞추고, 신뢰도가 낮은 판단은 LLM으로 되돌린다.
• 실수 이후의 상태를 학습한다. 기존 의사결정 모델은 자신의 실수로 만들어진 비정상적인 상태를 충분히 보지 못할 수 있다. AgentDecision-4B는 이런 상태를 포함한 데이터로 학습하고 Jev의 답을 라벨로 사용한다.

결과와 의미

훈련 데이터와 다른 작업에서 AgentDecision-4B를 사용한 에이전트의 성공률은 91.5%였고, Jev를 사용한 경우는 82.0%였다. 훈련 데이터와 유사한 작업에서는 이 방식으로 학습한 4B 모델이 에이전트 비용을 81.1~89.0% 줄이고 실행 속도를 최대 2.5배 높였다. 동시에 작업 성공률은 3%포인트 이상 감소하지 않았다. 다만 제공된 자료에는 전체 실험 설정이 포함되어 있지 않으므로, 이 수치를 모든 에이전트와 환경에 적용되는 보편적 보장으로 해석해서는 안 된다.

이 연구의 핵심은 단순히 대형 모델을 소형 모델로 교체하는 데 있지 않다. 어떤 판단을 위임해도 되는지, 언제 LLM으로 전환해야 하는지, 그리고 이전 오류가 만든 상태를 어떻게 처리할지를 함께 설계해야 한다는 점이다. 따라서 에이전트 평가도 단일 선택 정확도만이 아니라 최종 성공률, 신뢰도 보정, 비용, 지연을 함께 봐야 한다. 새로운 도구와 환경, 다양한 실패 유형에서도 안정적으로 작동하는지는 앞으로 확인해야 할 과제다.

출처: Hugging Face Daily Papers