Sauron, 판정보다 증거를 먼저 확인하는 에이전트 평가

들어가며

장시간 여러 단계를 수행하는 AI 에이전트를 평가할 때 최종 화면이나 마지막으로 생성된 파일만 확인해서는 충분하지 않을 수 있다. 어떤 증거는 현재 환경 상태에 남고, 다른 증거는 실행 과정의 기록에만 나타난다. 평가기가 에이전트의 “작업을 완료했다”는 자체 보고까지 사실로 받아들이면, 실제로는 실패한 작업을 성공으로 판정할 위험도 있다.

이 문제는 평가 결과가 강화학습 보상으로 사용될 때 더 커진다. 잘못된 성공 판정이 조기 종료, 검사 우회, 근거 없는 성공 보고 같은 행동을 오히려 강화할 수 있기 때문이다. 논문 Evidence-First Agentic Verification은 이러한 문제를 다루기 위해 Sauron이라는 검증기를 제안한다. 핵심은 판정부터 내리는 대신, 먼저 증거를 조사하는 것이다.

핵심 작동 방식

• 상태와 실행 기록을 함께 본다. Sauron은 현재 환경 상태나 에이전트의 설명 중 하나만을 완전한 근거로 간주하지 않는다. 평가 기준과 관련된 상태 및 실행 이력을 대상으로 필요한 정보만 조회한다.
• 주장을 출처에서 확인한다. 에이전트가 어떤 단계가 성공했다고 말해도 이는 검증해야 할 가설일 뿐이다. Sauron은 해당 주장을 뒷받침하는 실제 상태나 기록이 존재하는지 원천 정보에서 확인한다.
• 조회와 반복 작업을 제한한다. 조회 범위를 제한하고 공통 증거를 사용하는 관련 기준을 함께 조사해 컨텍스트 사용량과 중복 작업을 줄인다.
• 감사 가능한 결과를 남긴다. 모든 판정에 어떤 증거가 결론을 지지했는지 보여주는 영수증을 붙인다. 따라서 사람이 나중에 평가 과정과 이유를 추적할 수 있다.

실험에서 나타난 성능

실험은 100개의 개인 비서 에피소드에서 수집한 2,586개의 사람 라벨 기준을 대상으로 진행됐다. 테스트한 8개 백본 모두에서 Sauron은 5개 검증기 가운데 가장 높은 F1을 기록했고, 가장 강력한 기준선인 Gandalf보다 비용도 낮았다. GPT-5.6 Sol을 사용했을 때 Sauron은 F1 0.96을 기록해 Gandalf의 0.92를 앞섰으며, 비용은 23% 낮았다. 최종 결과보다 수행 과정을 평가하는 기준에서는 격차가 더 컸다.

연구진은 13개 실패 유형을 포함하는 쌍별 고장 주입 테스트도 구성했다. 이 가운데 일부는 보상 해킹과 유사한 상황을 모사했다. Sauron은 주입된 실패의 97%를 탐지하면서 정상 대조군에 대한 오탐은 2%로 제한했다. 다른 기준선에 전체 실행 기록을 제공한 경우에도 Sauron이 더 나은 결과를 보였다. 실제 에이전트 오류의 탐지와 위치 추정을 평가하는 TRAIL에서도 세 가지 품질 지표 모두에서 Gandalf와 TRAIL 자체 평가기를 앞섰다.

의미와 남은 과제

Sauron의 중요한 점은 단순히 평가 점수를 높였다는 데 있지 않다. 평가기를 인상에 따라 점수를 매기는 도구가 아니라, 결론을 뒷받침할 근거를 찾는 조사 시스템으로 바꾸려 했다는 데 있다. 자동 작업 승인, 강화학습 보상 설계, 오류 분석에서는 결과값뿐 아니라 그 판단을 뒷받침하는 자료를 확인할 수 있어야 한다.

다만 실험은 개인 비서 작업, 고장 주입 테스트, 기존 벤치마크에 집중돼 있다. 상태가 빠르게 변하는 환경이나 더 개방적이고 전문적인 작업에서도 같은 조회 전략과 증거 형식이 안정적으로 작동하는지는 추가 검증이 필요하다. 그럼에도 이 연구는 에이전트가 더 오래 행동할수록 평가기도 실제로 무슨 일이 있었는지 조사하는 능력을 갖춰야 한다는 방향을 제시한다.

출처: Hugging Face Daily Papers