작업 성공이 곧 신뢰성은 아니다: AI 에이전트 Harness 평가하기

들어가며

AI 에이전트가 기대한 답을 내놓으면 평가가 끝나는 경우가 많다. 하지만 최종 결과가 맞았다는 사실만으로 에이전트가 컨텍스트 제약을 지켰는지, 도구를 올바르게 호출했는지, 상태를 안정적으로 관리했는지, 감사에 필요한 증거를 남겼는지를 알 수는 없다. 겉으로 보이는 성공이 실행 시스템의 취약점을 가릴 수 있는 셈이다.

Hugging Face Daily Papers에 소개된 TraceTrial-Bench는 이 누락된 층을 평가 대상으로 삼는다. 여기서 Harness는 모델과 컨텍스트, 도구, 실행 환경, 제어 메커니즘을 연결해 에이전트를 작동시키는 시스템 계층으로 볼 수 있다.

핵심 내용

• 신뢰성을 7개 요소로 분해한다. 컨텍스트, 실행, 거버넌스, 수명주기, 관측 가능성, 도구, 검증을 따로 살펴 단일 성공률만으로 시스템을 판단하지 않는다.
• 정답보다 메커니즘을 시험한다. 연구진은 실행 가능한 정답 또는 상태 기반 정답을 갖춘 전문가 수준의 과제 95개를 만들었다. 이를 통해 의미상 동등한 비교를 지원하면서도 각 Harness의 고유한 동작은 유지했다.
• 에이전트 성능과 Harness를 분리한다. 2층 평가 구조는 과제를 해결했는지와 실행 기반이 요구사항에 맞게 작동했는지를 구분한다.
• 실행 과정을 기록한다. Trajectory Tracing은 에이전트의 실행 궤적을 수집하고, Multi-source Evidence Acquisition은 에이전트 컨텍스트, Harness, 실행 환경에서 근거를 모은다.
• 실패 원인을 메커니즘으로 설명한다. Failure Attribution은 단순히 실패 여부만 표시하지 않고, 명시적인 메커니즘 연결을 사용해 개별 실행의 원인을 분석한다.

실험 결과

평가는 4개 Harness, 9개 모델, 95개 과제를 대상으로 진행됐으며 총 3,420회 실행을 분석했다. Harness의 매크로 평균 점수는 59.8%에서 72.0% 사이였다. 이는 모델 능력뿐 아니라 모델을 둘러싼 실행 기반도 전체 시스템의 신뢰성에 차이를 만들 수 있음을 보여준다.

가장 주목할 결과는 전체 실행의 31.1%가 과제를 성공적으로 끝냈지만 최소 하나의 Harness 기준에는 실패했다는 점이다. 이는 해당 실행의 최종 답이 반드시 틀렸다는 뜻은 아니다. 과제 결과의 성공과 신뢰할 수 있는 방식으로 시스템이 작동했다는 사실은 서로 다른 속성이다. 특정 입력에서는 도구 호출, 상태 관리, 검증, 관측 가능성에 문제가 있어도 기대한 결과에 도달할 수 있다.

의미와 한계

이 연구는 에이전트 평가의 범위를 넓힌다. 답변 품질만 비교하는 벤치마크는 실행 프레임워크가 안정성, 감사 가능성, 통제 경계에 미치는 영향을 놓칠 수 있다. 실행 궤적과 다중 소스 증거를 확보하면 문제가 모델의 판단에서 비롯됐는지, Harness의 제어 로직에 있는지, 외부 실행 환경에서 발생했는지를 구분하는 데 도움이 된다.

다만 점수는 신뢰성에 대한 최종 인증이라기보다 진단 자료로 해석해야 한다. 결과는 과제 설계, 증거의 품질, 평가 규칙에 영향을 받을 수 있으며, 실제 용도에 따라 7개 요소의 중요도도 달라진다. TraceTrial-Bench의 핵심 기여는 과제를 끝냈는지만 묻지 않고, 어떤 방식으로 끝냈는지, 어디에서 실패할 수 있는지, 실패를 설명할 수 있는지까지 평가해야 한다는 관점을 제시한 데 있다.

출처: Hugging Face Daily Papers