ClawProBench: AI 에이전트를 실행 과정으로 평가하다

들어가며

AI 에이전트가 파일을 읽고 쓰고, 도구를 호출하고, 메시지를 보내고, 일정을 등록하거나 다른 에이전트를 실행하는 단계에 이르면 최종 답변만으로는 능력을 충분히 설명하기 어렵다. 에이전트가 올바른 결과를 냈더라도 근거가 부족하거나, 잘못된 도구 경로를 선택하거나, 안전 경계를 우회했을 수 있다. 한 번 성공한 작업이 다음 실행에서 실패할 가능성도 있다. ClawProBench는 평가 대상을 모델에서 모델과 런타임의 조합으로 확장하고, 전체 실행 트레이스를 보존하는 방식으로 이 문제를 다룬다.

핵심 내용

• 평가 단위를 넓혔다. 실패를 증거 수집, 런타임 라우팅, 안전 제어, 반복 실행 등의 단계로 나눠 분석한다. 최종 답변이 같아도 과정의 안전성과 재현성에 따라 다른 평가를 받을 수 있다.
• 실제 런타임 기능을 다룬다. OpenClaw를 기반으로 워크스페이스 도구와 함께 브라우징, 메모리, 메시징, 일정 관리, 스킬, 서브에이전트 같은 네이티브 기능을 평가한다.
• 두 가지 트랙을 제공한다. 전체 프로필은 102개 시나리오로 라이브 워크스페이스와 네이티브 런타임 라우팅을 다룬다. 동결 홀드아웃은 68개 시나리오와 폐쇄형 JSON 출력 계약을 사용해 구성 간 안정적인 비교를 지원한다.
• 정답률만으로 채점하지 않는다. 실행 트레이스에서 정확성, 프로세스 품질, 효율성을 종합하고 안전 게이트를 적용한다. 실패의 증거도 감사와 원인 분석을 위해 남긴다.
• 반복 성공을 구분한다. 홀드아웃에서 최소 한 번 성공하는 pass@k-any는 0.6638이었지만, 세 번의 시도 모두 성공하는 엄격한 지표는 0.2890에 그쳤다.

결과와 해석

연구진은 전체 프로필에서 68개 구성을, 홀드아웃에서 37개 구성을 평가했다. 안전성을 반영한 평균 트레이스 점수의 최고값은 0.7671이었다. 라이브 워크스페이스 과제의 평균 점수는 0.6415로, 네이티브 런타임 과제의 0.5238보다 높았다. 이는 런타임 고유의 상태 관리, 도구 선택, 라우팅이 추가적인 실패 지점을 만든다는 뜻으로 해석할 수 있다.

두 트랙의 순위 일치도도 낮았다. 전체 프로필과 홀드아웃 순위의 Spearman 상관계수는 0.1300이었다. 정확성만으로 매긴 순위는 프로세스 품질, 안전 게이트, 엄격한 반복 성공을 반영한 순위와 상당히 달라졌다. 따라서 단일 정확도 수치만으로 에이전트의 실제 역량을 판단하는 방식에는 한계가 있다.

의미와 영향

ClawProBench의 핵심 기여는 새로운 문제 수를 추가한 데만 있지 않다. 에이전트 벤치마크는 모델뿐 아니라 런타임, 도구, 권한, 상태, 반복 실행 조건까지 명시해야 한다는 방법론적 메시지를 던진다. 트레이스가 있으면 문제가 추론에서 발생했는지, 근거 수집이나 도구 선택에서 발생했는지, 권한 제어에서 발생했는지 구분할 수 있다. 실제 배포에서는 우연한 한 번의 성공보다 안전하고 반복 가능한 성공이 더 중요하다.

물론 이 벤치마크는 OpenClaw를 중심으로 구현됐기 때문에 결과는 해당 런타임의 인터페이스와 가정에 영향을 받는다. 여러 런타임을 공정하게 비교하려면 재현 가능한 환경과 공통 안전 기준이 필요하다. 그럼에도 결론은 분명하다. 에이전트는 답을 맞혔는지만이 아니라, 안전하고 효율적으로, 그리고 반복해서 같은 수준의 작업을 수행하는지도 평가받아야 한다.

출처: Hugging Face Daily Papers