VeriHarness, 장기 작업을 위한 LLM 에이전트 검증 프레임워크

들어가며

대규모 언어 모델 에이전트가 여러 단계의 의사결정, 파일 조작, 도구 사용을 포함하는 장기 작업을 수행하게 되면서 결과를 검증하는 일은 결과를 생성하는 일만큼 어려워지고 있습니다. 한 번의 실행에는 부분적으로만 맞는 주장, 서로 충돌하는 대안, 또는 겉보기에는 완성도가 높지만 핵심 요구사항을 빠뜨린 산출물이 함께 들어갈 수 있습니다. VeriHarness는 테스트 시점에 정답이나 채점 루브릭을 사용할 수 없는 상황에서, 고정된 기반 모델의 검증 능력을 강화하는 방법을 연구합니다.

핵심 발상: 합의가 곧 정답은 아니다

연구진은 동일한 작업을 여러 번 수행한 롤아웃을 분석합니다. 여러 실행 결과에는 서로 보완적인 정답 주장이 포함될 수 있지만, 상반된 판단이 나타나기도 합니다. 논문이 제시하는 관찰은 흥미롭습니다. 불일치는 검토할 가치가 있는 올바른 대안을 드러낼 수 있지만, 합의는 여러 실행이 공유하는 오류를 감출 수 있습니다. 따라서 VeriHarness는 단순 다수결을 검증 방식으로 사용하지 않습니다.

대신 생성에 사용한 LLM에 작업 공간, 증거 수집 도구, 재사용 가능한 검증 스킬을 제공하고 다음 과정을 수행합니다.

• 불일치 해결: 경쟁하는 주장들을 찾아 파일, 도구 출력 등 작업 환경에서 얻은 증거로 각각 확인합니다.
• 합의 도전: 여러 롤아웃이 공유하는 주장도 다시 시험하고, 누락된 요구사항과 경계 조건, 빠진 단계를 탐색합니다.
• 증거 기반 수정: 검증 결과를 최선의 실행 결과를 고르는 데만 쓰지 않고 최종 산출물을 수정하는 데도 활용합니다.

이 구조에서 검증은 완성된 답변을 한 번 평가하는 작업이 아닙니다. 에이전트가 환경을 조사하고 후보를 비교한 뒤 결과를 보완하는 반복적인 검토 과정입니다.

결과와 한계

제공된 초록에 따르면 VeriHarness는 5개의 장기 워크스페이스 벤치마크와 2개의 프런티어 모델에서 평가됐으며, 비교된 기준선 가운데 가장 높은 선택 점수를 얻었습니다. 증거 기반 수정을 추가하면 단일 롤아웃 대비 Gemini 3.5 Flash에서 평균 6.2포인트, Claude Opus 4.8에서 평균 6.4포인트 향상된 것으로 보고됐습니다. 또한 실패 피드백을 통해 검증 스킬이 스스로 개선될 수 있다는 결과도 제시합니다.

다만 이 결과는 몇 가지 조건과 함께 해석해야 합니다. 동일한 모델과 프롬프트를 반복 샘플링해 얻은 불일치는 독립적인 지식 불확실성보다 디코딩 변동을 반영할 수 있습니다. 검증기가 생성기와 같은 모델 계열에 속한다면 생성기의 맹점을 공유하고, 해당 모델이 자주 만드는 오류를 자신 있게 통과시킬 위험도 있습니다. 앞으로는 모델, 프롬프트, 도구 사용 경로의 다양성과 적대적 오류에 대한 오검출률을 함께 측정할 필요가 있습니다.

의미와 영향

VeriHarness의 의미는 검증을 에이전트 시스템의 핵심 능력으로 다룬다는 데 있습니다. 단순히 샘플 수를 늘리는 대신 불일치에서 유용한 대안을 보존하고, 겉보기 합의를 의심하며, 환경 증거를 바탕으로 결과를 수정합니다. 검증 스킬 자체가 실패 피드백으로 개선될 수 있다는 관점은 소프트웨어 조작, 연구 보조, 복잡한 업무 자동화처럼 장기적인 신뢰성이 필요한 분야에 확장 가능한 방향을 제시합니다. 동시에 검증기의 독립성과 공유된 맹점은 앞으로 해결해야 할 핵심 연구 과제로 남습니다.

출처: Hugging Face Daily Papers