SearchHorizonBench: AI 에이전트는 언제 다시 검색해야 할까

들어가며

AI 에이전트에게 검색은 많을수록 좋은 작업이 아닙니다. 검색을 한 번 더 실행하면 토큰과 시간이 들고 도구 사용 비용도 발생합니다. 반대로 너무 일찍 멈추면 답변을 크게 개선할 정보를 얻지 못할 수 있습니다. 따라서 에이전트가 판단해야 할 핵심은 질문이 얼마나 어려운지가 아니라, “검색을 한 번 더 했을 때 얼마나 나아질까”입니다.

SearchHorizonBench는 바로 이 판단을 평가하기 위한 벤치마크입니다. 연구진은 답변 성공 확률과 검색 이득을 분리합니다. 성공 확률은 질문의 전반적인 난도를 나타내고, 검색 이득은 검색을 계속했을 때 성공 가능성이 추가로 얼마나 높아지는지를 나타냅니다.

핵심 내용

• 실행 경험을 대규모로 수집: 3,168개 질문에 걸친 45,632건의 실행을 포함하며, 1,632개 홀드아웃 질문으로 일반화 성능을 확인합니다.
• 검색 효과와 생성 변동을 구분: 짝지은 후속 실행과 반복 실행을 활용해 한 번의 무작위 생성 결과가 아니라 추가 검색 자체의 효과를 측정하려 합니다.
• 보정은 개선되지만 이득 예측은 제한적: 과거 실행 정보를 사용하면 Brier 오차가 16.2% 감소합니다. 그러나 검색 이득의 표준편차는 21.4퍼센트포인트였고, 평가된 과거 기반 추정기가 점 추정으로 설명한 분산은 2% 미만이었습니다.
• 검색 가치가 정책을 바꿀 수 있음: 기준 토큰 가격에서 검색 가치 정보를 활용한 선택은 최선의 고정 행동보다 2.49포인트 높은 효용 기회를 제공했습니다. 이 차이는 주로 검색 이득 정보에서 나왔습니다.
• 후속 연구를 위한 공통 기반: 고정 데이터 분할, 재사용 가능한 기록, 강력한 기준선, 점수 계산 도구를 제공해 방법 간 비교를 돕습니다.

의미와 영향

이 연구는 에이전트 평가의 질문을 “결국 정답을 낼 수 있는가”에서 “다음 검색이 비용을 감수할 만큼 가치 있는가”로 확장합니다. 성공 가능성이 비슷한 두 질문이라도 추가 검색에서 얻는 개선 폭은 크게 다를 수 있습니다. 이 차이를 파악하지 못하면 가치가 낮은 검색에 예산을 낭비하거나, 더 많은 정보가 필요한 순간에 작업을 중단하게 됩니다.

결과는 과거 데이터의 효용과 한계를 함께 보여줍니다. 이전 실행 기록은 전반적인 성공 수준을 보정하는 데 도움이 되지만, 특정 검색이 가져올 실제 이득을 정확히 예측하는 데는 충분하지 않습니다. 앞으로의 에이전트는 질문의 정적 특성뿐 아니라 이전 검색 결과, 작업 흐름의 현재 단계, 추가 계산 비용까지 함께 고려해야 할 가능성이 큽니다. SearchHorizonBench는 검색을 단순한 기능 호출이 아니라 비용과 기대효과를 비교하는 의사결정 문제로 다룰 수 있게 하는 기반입니다.

Hugging Face Daily Papers