Harness², 정답 검증기 없이 에이전트를 재귀적으로 개선하다

들어가며

에이전트의 성능은 언어 모델의 능력만으로 결정되지 않는다. 작업을 분해하고, 도구를 선택하며, 중간 결과를 점검하고, 실패에서 회복하는 실행 방식도 결과에 큰 영향을 준다. 모델을 둘러싼 이러한 프로그램과 절차를 실행 하니스라고 부를 수 있다. Google 연구진의 Harness²는 이 하니스 자체를 재귀적으로 개선하는 방법을 제시하며, 특히 정답이나 고정된 검증기가 없는 오픈월드 작업을 겨냥한다.

두 단계의 재귀 구조

기존의 재귀적 자기개선은 보상, 테스트, 정답 라벨 같은 명확한 신호를 필요로 하는 경우가 많다. 하지만 실제 업무에서는 하니스를 설계할 때 보지 못한 작업이 등장하고, 테스트 시점에도 신뢰할 수 있는 정답 검증기가 없을 수 있다. Harness²는 이 문제를 두 개의 연결된 재귀 수준으로 나눈다.

• 작업 수준 재귀: 현재 작업에 적용할 하니스 수정안을 여러 개 제안한 뒤, 각 행동을 탐색하고 비교해 더 나은 변경을 조합한다. 핵심 절차는 Propose-Probe-Compose다.
• 하니스 수준 재귀: 현재 작업에서 얻은 수정 경험을 추출해 지속적 개선 하니스를 업데이트한다. 이후 작업은 매번 처음부터 최적화하지 않아도 된다.
• 확장 가능한 탐색: 작업 수준 재귀는 병렬 또는 순차 방식으로 늘릴 수 있어, 추가 예산을 후보 탐색에 투입할 수 있다.

보고된 평가 결과

논문은 세 가지 전문 벤치마크와 네 가지 모델·하니스 구성에서 방법을 평가했다. GLM-5와 Gemini 3.5 Flash에서는 한 번의 재귀 단계만으로도 기본 하니스보다 일관된 향상이 나타났다. 보고된 최대 향상 폭은 WorkBuddy-Bench에서 11.5점, JobBench에서 4.5점, LAB에서 11.8%포인트다. 작업 수준 재귀에 더 많은 예산을 배정할수록 추가적인 향상이 나타난다는 결과도 제시됐다.

의미와 남은 과제

Harness²의 핵심 의미는 에이전트 개선의 대상을 더 큰 모델이나 일회성 프롬프트에만 두지 않고, 실행 메커니즘으로 확장했다는 데 있다. 한 작업에서 발견한 유용한 조정이 다음 작업의 출발점이 된다면, 도구 사용이 많고 절차가 유동적인 업무 환경에서 특히 의미가 있을 수 있다.

다만 후보를 탐색하고 비교하는 과정에는 추가 추론 및 실행 비용이 든다. 정답이 없는 환경에서 얻은 비교 신호도 실제 성과를 보장하는 검증 결과와는 다르다. 경험이 다른 분야로 안정적으로 이전되는지, 재귀를 반복하면서 잘못된 전략까지 누적되지 않는지는 앞으로 확인해야 할 과제다.

출처: Hugging Face Daily Papers