DeepSearch-World: 검증 가능한 환경에서 검색 에이전트를 자기 증류로 학습

서론

도구를 사용하는 에이전트가 자신의 경험으로부터 실제로 더 나아질 수 있는가? 이 질문은 오래전부터 중요했지만, 쉽게 풀리지 않았다. 지도학습은 교사 모델이 만든 고정된 궤적에 의존하고, 강화학습은 장기 웹 탐색처럼 보상이 희박한 과제에서 학습 신호가 약해지기 쉽다. DeepSearch-World는 이 문제를 “검증 가능한 웹 환경”이라는 방식으로 다룬다. 검색과 페이지 읽기 과정을 재현 가능하게 만들어, 에이전트의 개선을 추측이 아니라 확인 가능한 상호작용 위에 올려놓는다.

핵심 포인트

• 검증 가능한 환경: 재현 가능한 검색과 페이지 읽기 도구를 제공해, 에이전트가 올바른 방향으로 가고 있는지 점검할 수 있다.
• 규모 있는 학습 데이터: 환경에는 420K개의 다단계 QA 태스크가 포함되어 있으며, 엔티티 수준 랜덤 워크로 구성되었다.
• 자기 진화를 돕는 행동: 진행 상황 검증, 근거 기반 성찰, 실패 복구 같은 에이전트 행동을 학습하기 좋게 설계되었다.
• DeepSearch-Evolve의 절차: 궤적을 생성하고, 필터링하고, 데이터를 섞고, 다시 미세조정하는 과정을 반복한다.
• 실험 결과: 더 강한 모델의 증류 없이도 DeepSearch-World-9B는 BrowseComp 31.2%, GAIA 61.5%, HotpotQA 93.4%를 기록했다.

의미와 영향

이 연구의 의미는 장기 웹 에이전트 학습을 더 다루기 쉬운 형태로 바꿨다는 점에 있다. 실제 검색 과제에서는 정답만 맞히는 것보다, 중간에 잘못된 길에 들어섰음을 알아차리고, 되돌아가며, 근거를 바탕으로 탐색 경로를 수정하는 능력이 중요하다. 검증 가능한 환경은 이런 중간 과정을 학습과 평가의 대상으로 만든다.

또한 지도학습과 강화학습 사이의 현실적인 대안을 제시한다. 교사 궤적에만 묶이지 않으면서도, 희박한 보상에만 의존하지 않는 방식이기 때문이다. 환경, 420K 훈련 풀, 검증 세트, 모델, 코드가 공개될 예정이라는 점도 후속 연구에 도움이 될 가능성이 크다.

Hugging Face Daily Papers