에이전트 검증을 다시 설계하다: 독립 리뷰어의 효과

들어가며

도구를 사용하는 대규모 언어 모델은 한 번의 답변으로 복잡한 작업을 끝내지 않습니다. 파일을 살펴보고, 명령을 실행하고, 결과를 관찰한 뒤 계획을 수정하면서 목표에 접근합니다. 따라서 결과를 확인하고 잘못된 부분을 고치는 검증 기능은 마지막에 덧붙이는 옵션이 아니라 에이전트 시스템의 핵심 구성요소입니다.

「Rethinking Verification in Agent Harnesses」는 프롬프트, 도구, 관찰 결과, 실행 흐름을 조정하는 에이전트 하니스를 테스트 시점 스케일링의 한 축으로 바라봅니다. 연구의 핵심 질문은 세 가지입니다. 언제 개입해야 하는가, 누가 결과를 확인해야 하는가, 그리고 검토 결과를 어떻게 수정으로 연결해야 하는가입니다.

네 가지 검증 계층

연구진은 에이전트 생명주기의 네 지점에서 17가지 검증 설계를 비교했습니다.

• 초기 지시: 작업을 시작할 때부터 결과를 스스로 점검하도록 요구합니다.
• 실행 중 알림: 도구 호출 과정에서 진행 상황과 오류 가능성을 다시 확인하게 합니다.
• 완료 게이트: 작업 완료를 선언하기 전에 테스트나 별도의 조건을 통과하도록 합니다.
• 독립 리뷰: 별도의 비평가가 결과를 검토하고, 실행 에이전트가 피드백을 반영해 수정합니다.

평가는 7개의 최전선 코딩 모델을 사용해 Terminal-Bench와 SWE-bench Verified에서 진행됐습니다. 여기에 전문가가 시각적·상호작용적 결과물을 평가하는 VisualBench도 추가됐습니다. 코드 테스트만으로는 충분히 측정하기 어려운 화면 구성과 실제 사용 경험까지 살펴본 점이 특징입니다.

독립 리뷰가 보여준 비용 대비 성능

초기 지시와 실행 중 알림은 평균적으로 소폭의 개선을 제공했지만, 효과가 모델별로 달랐습니다. 평균 출력 토큰 사용량을 크게 늘리지는 않았지만, 긴 도구 사용 작업에서 발생하는 누락을 안정적으로 해결하지는 못했습니다.

완료 게이트는 더 큰 성능 향상을 낼 수 있습니다. 그러나 테스트를 반복 실행하거나 추가 수정을 유도하면 비용이 크게 증가할 수 있습니다.

독립 리뷰는 이보다 균형 잡힌 결과를 보였습니다. Terminal-Bench에서는 평균 정확도가 5.99.5%포인트 높아졌고, 비용은 기준선의 약 1.131.25배였습니다. SWE-bench Verified에서는 3.96.6%포인트 향상되면서 비용은 약 1.001.04배에 머물렀습니다. VisualBench에서도 네 가지 독립 리뷰 설계 모두 기준선보다 긍정적인 순선호를 얻었으며, 개선 폭은 13.2~23.8포인트였습니다.

리뷰 라운드나 비평가 수를 늘리는 방법도 효과가 있었습니다. 단일 리뷰와 비교했을 때 Terminal-Bench 평균 정확도가 최대 3.5포인트 추가로 향상됐습니다. 이는 리뷰가 단순히 켜고 끄는 기능이 아니라, 작업의 위험도에 따라 깊이와 중복성을 조정할 수 있는 테스트 시점 스케일링 수단임을 뜻합니다.

에이전트 개발에 주는 의미

이번 연구의 핵심 메시지는 검증을 강한 시스템 프롬프트 하나로 해결할 수 없다는 것입니다. 개발자는 개입 시점, 검토자의 독립성, 피드백을 실제 수정으로 바꾸는 절차, 추가 계산에 지불할 비용을 함께 설계해야 합니다.

중요한 코딩 작업에서는 같은 에이전트에게 알림을 반복하는 것보다 독립적인 비평가를 추가하는 편이 더 실용적인 개선책이 될 수 있습니다. 비용이 제한된 서비스라면 불확실성이 높거나 실패 위험이 큰 결과에만 여러 차례 리뷰를 적용하는 선택적 구조도 가능합니다.

또한 에이전트 평가에서 기반 모델만 비교해서는 안 됩니다. 하니스 설계에 따라 동일한 모델의 실제 성능이 크게 달라질 수 있기 때문입니다. 모델이 잠재적인 성능의 상한을 정한다면, 검증 아키텍처는 배포된 시스템이 그 상한에 얼마나 안정적으로 도달하는지를 결정합니다.

출처: Hugging Face Daily Papers