EarlyEval, 에이전트 실행 중 결과를 예측해 평가 비용 절감

배경

LLM 에이전트 평가는 최종 답변 하나만 확인하는 과정과 다르다. 코드 수정, 터미널 명령, 외부 도구 사용이 포함된 작업에서는 에이전트가 여러 차례 추론하고 행동한 뒤 결과를 검증해야 한다. 따라서 프런티어 모델로 에이전트 벤치마크를 한 번 실행하는 데 수백 달러에서 수천 달러가 들 수 있으며, 개발 과정에서 반복 평가를 수행하면 비용이 빠르게 누적된다.

기존의 비용 절감 연구는 주로 벤치마크 태스크 수를 줄이는 데 초점을 맞췄다. EarlyEval은 태스크 수가 아니라 태스크 내부의 실행 길이를 줄이려 한다. 이미 성공이나 실패의 방향이 드러난 작업을 끝까지 실행해야 하는지 묻는 접근이다.

작동 방식

EarlyEval의 핵심 가정은 에이전트의 최종 결과를 보여주는 신호가 실행 중간에도 나타난다는 것이다. 예를 들어 도구 호출이 계속 불일치하거나 기준 해결책에서 크게 벗어나면 실패 가능성이 높아질 수 있다. 반대로 일관된 구현과 검증 단계가 이어지면 성공 가능성을 일찍 추정할 수 있다.

프레임워크는 실행 단계마다 행동 특성, 생성된 텍스트, 참조 해결책과 관련된 특징을 수집한다. 이후 성공을 예측하는 LightGBM 분류기와 실패를 예측하는 LightGBM 분류기를 별도로 학습한다. 두 예측기의 신뢰도를 보정한 뒤, 어느 한쪽이 정해진 임계값을 넘으면 해당 에이전트 실행을 조기에 종료한다. 가벼운 분류기를 사용해 단계별 추가 오버헤드는 작게 유지하고, 이후에 필요했을 모델 호출을 절약하는 구조다.

결과와 한계

실험은 SWE-bench Verified, TerminalBench, Toolathlon에서 진행됐다. EarlyEval은 에이전트 실행 단계를 13%—26% 줄였고, 설정에 따라 입력 토큰을 최대 44.1%, 출력 토큰을 최대 29.4% 줄였다. 예측 정확도는 89%—97%였으며, 에이전트별 resolve rate의 평균 변화는 약 1—2퍼센트포인트로 나타났다.

다만 조기 종료는 오판 위험을 동반한다. 성공할 작업을 실패로 판단하면 실제 성능을 낮게 평가할 수 있고, 실패한 작업을 성공으로 판단하면 충분한 실행 궤적을 관찰하지 못할 수 있다. 또한 임계값 선택과 새로운 모델, 태스크, 도구 구성으로의 일반화 여부가 실제 효율을 좌우한다.

의미와 영향

EarlyEval은 평가 태스크를 삭제하는 방식과 상호 보완적이다. 결과가 충분히 예측 가능한 작업은 중간에 멈추고, 여전히 불확실한 작업에는 전체 실행 예산을 남길 수 있다. 에이전트를 자주 수정하고 회귀 테스트를 반복하는 팀이라면 태스크당 절감이 누적되어 평가 비용을 낮출 가능성이 있다.

더 넓은 의미에서 이 연구는 에이전트 평가를 고정된 실행 예산의 문제가 아니라 동적 자원 배분의 문제로 바라본다. 다만 EarlyEval은 전체 실행을 대체하는 방법이라기보다, 예측기와 임계값을 신중하게 관리해야 하는 경량 가속 장치에 가깝다. 향후 더 다양한 모델과 벤치마크에서 결과 왜곡을 지속적으로 검증하는 것이 중요하다.

출처: Hugging Face Daily Papers