VerifierBench, LLM 에이전트가 만드는 검증기의 신뢰성을 평가하다

들어가며

도구를 호출하고 환경을 바꾸거나 코드를 수정하는 LLM 에이전트에게 작업 완료는 최종 목표가 아닙니다. 결과가 지시사항을 충족하는지 판정하는 검증기도 필요합니다. 이 판단은 보상 지급, 합성 데이터 선별, 후속 작업 진행 여부에 영향을 줍니다. 그러나 검증기까지 모델이 작성한다면, 검증기 자체의 품질을 별도로 측정해야 합니다.

VerifierBench는 이 문제를 직접 평가합니다. 모델에는 작업을 해결할 때 사용할 수 있는 지시문과 환경만 제공하고, 실행 가능한 검증기를 작성하게 합니다. 이후 비공개 테스트를 통해 모든 유효한 해답을 받아들이는지, 잘못된 해답을 거부하는지 확인합니다.

핵심 내용

• 222개 작업으로 구성되며, 도구 호출, 환경 상태, 코드 변경 검증을 다룹니다.
• 4,993개 비공개 테스트에는 여러 형태의 정답, 일반적인 실수, 검증기를 겨냥한 공격이 포함됩니다.
• 동일한 에이전트 환경에서 평가한 19개 모델의 정규화 균형 정확도는 10.6~62.1이었습니다.
• 생성 검증기는 오답 거부에는 상대적으로 강하지만, 모든 정답을 받아들이는 데는 취약했습니다.
• 작업이 요구하지 않은 특정 출력 형식, 도구 사용 방식, 코드 수정 패턴을 임의로 가정하는 사례가 나타났습니다.

의미와 영향

오류를 잡아내더라도 합법적인 해답을 거부하는 검증기는 신뢰하기 어렵습니다. 성공한 에이전트에 보상을 주지 않거나, 유용한 합성 데이터를 버리거나, 모델이 실제 작업보다 우연한 평가 규칙에 맞춰 행동하도록 만들 수 있습니다. 자기 테스트도 문제를 해결하지 못할 수 있습니다. 에이전트가 검증기와 같은 잘못된 가정을 공유하는 해답만 테스트하면 오류가 그대로 남기 때문입니다.

따라서 연구진은 정답 하나를 통과시키는지뿐 아니라, 작업이 허용하는 다른 정답도 통과시키는지를 함께 점검해야 한다고 제안합니다. 단일 기준 답안과의 일치보다, 과제에서 허용하는 유효한 결과의 범위를 인식하는 능력이 중요하다는 의미입니다.

관련 도구인 Gavel은 증거 헤더, 도메인 규칙 라이브러리, 검증기 작성 원칙을 결합합니다. 제공된 자료에 따르면 Gavel을 사용한 GPT-6-astra 구성은 VerifierBench에서 68.3을 기록했습니다. 다만 이는 도구로 강화된 구성의 결과이며, 19개 모델의 기본 비교 결과인 10.6~62.1과 직접 같은 조건으로 해석해서는 안 됩니다.

자율 에이전트가 확산될수록 검증기는 단순한 보조 코드가 아니라 보상과 안전성을 결정하는 경계가 됩니다. 에이전트의 작업 성공률뿐 아니라, 그 결과를 평가하는 메커니즘 자체도 측정해야 합니다.

출처: Hugging Face Daily Papers