AgentProofBench, 재사용 가능한 웹 에이전트 검증기를 평가하다

배경

웹 에이전트에서 출력이 한 번 승인됐다는 사실만으로는 충분하지 않습니다. 요구사항이 바뀌어도 승인 규칙을 재사용할 수 있어야 하고, 검증 결과가 이후 행동을 안정적으로 뒷받침해야 합니다. 하지만 기존 평가에서는 승인 규칙의 정확성과 에이전트의 실제 실행을 별도로 측정하는 경우가 많았습니다. 이 방식으로는 정적인 테스트를 통과한 검증기가 실제 작업 완료에도 도움이 되는지 알기 어렵습니다.

AgentProofBench는 이 간극을 줄이기 위해 설계됐습니다. 고정된 승인 규칙, 저장된 웹 시작 상태, 에이전트 프로그램, 실행 궤적을 하나의 평가 구조에 넣고, 검증 테스트와 후속 실행을 서로 연결합니다. 데이터셋은 4개 웹 서비스에 걸친 97개 작업과 79개 작업군으로 구성됩니다. 단순한 합격률을 넘어, 요구사항 판단이 프로그램 게이팅과 최종 작업 전달에 어떤 결과를 만드는지 추적하는 것이 핵심입니다.

핵심 내용

• 검증 규칙의 재사용성을 직접 측정합니다. 전체 패널 테스트와 결정 재현 테스트는 규칙이 한 번 맞는지보다, 이후 상황에서도 계속 작동하는지를 확인합니다. 48개 작업군에서 DeepSeek Flash는 96개 원본 프로그램 중 82개를, DeepSeek Pro는 96개 중 79개를 유지했습니다.
• 재사용과 재구축의 차이를 수치화합니다. 재사용과 재구축을 비교한 Bland–Altman 구간은 Flash에서 -5.471.57%포인트, Pro에서 -10.160.00%포인트였습니다. 기존 검증기를 그대로 쓰는 경우와 새로 구성하는 경우의 차이를 구체적으로 비교할 수 있습니다.
• 패널 오류는 작업 전달 실패와 연결됩니다. 22개 실행 작업군에서 패널 오류가 없었던 33개 프로그램 할당 중 32개는 두 개의 저장 시작 상태에서 모두 올바르게 전달됐습니다. 반면 패널 오류가 있었던 11개 할당에서는 같은 조건을 만족한 사례가 1개뿐이었습니다. 논문은 참조 규칙으로 정의한 프로그램 게이트 회귀와 전달 보류가 모두 후자 그룹에서 발생했다고 설명합니다.
• 중립적 기준선을 제시합니다. 테스트한 일반 피드백 조건에서는 중립적 계속 실행이 가장 높은 올바른 전달률을 보였습니다. 이는 항상 최선의 정책이라는 뜻이 아니라, 추가 게이트가 실제로 얼마나 가치를 더하는지 평가하기 위한 기준입니다.

의미와 영향

AgentProofBench의 핵심 기여는 검증기가 “정확한가”와 “유용한가”를 구분하도록 만든 데 있습니다. 어떤 규칙은 정적인 요구사항 테스트에서는 좋은 결과를 내더라도, 패널 오류나 결정 재현 실패, 상태 처리 문제 때문에 다음 실행을 방해할 수 있습니다. 이 벤치마크는 지시문, 상태, 프로그램, 참조 규칙, 실행 궤적을 제공해 개별 검증 실패가 어떤 실행 결과로 이어졌는지 확인할 수 있게 합니다.

이는 웹 에이전트 평가의 방향에도 중요한 시사점을 줍니다. 검증기는 최종 점수를 계산하는 도구에 그치지 않고, 에이전트의 행동을 허용하거나 차단하는 제어 신호가 될 수 있습니다. 따라서 요구사항을 올바르게 판정하는지뿐 아니라, 프로그램 게이트와 피드백으로 사용될 때 일관되고 안전한지도 평가해야 합니다. AgentProofBench는 이 두 수준을 하나의 흐름으로 분석할 수 있는 실용적인 기반을 제공합니다.

출처: Hugging Face Daily Papers