LifeSearch가 보여준 현실 업무에서 딥리서치 에이전트의 한계

들어가며

딥리서치(Deep Research) 에이전트는 웹을 여러 차례 검색하고, 장기적인 추론을 수행하며, 다양한 출처의 정보를 하나의 보고서로 합성합니다. 짧은 질문에 답하는 챗봇보다 훨씬 유용해 보이지만, 문장이 매끄럽다는 사실이 곧 신뢰성을 의미하지는 않습니다. 기존 벤치마크는 학술 연구나 합성 과제에 집중하는 경우가 많았기 때문에, 일상생활과 업무에서 발생하는 복잡한 조사 능력은 충분히 검증되지 않았습니다.

Tencent Hunyuan 연구팀이 공개한 LifeSearch는 이 공백을 겨냥합니다. 이 벤치마크는 보고서가 읽기 좋은지만 보지 않습니다. 필요한 정보를 빠짐없이 찾았는지, 여러 조건을 정확히 처리했는지, 구체적인 주장을 확인 가능한 근거로 뒷받침했는지를 평가합니다.

핵심 내용

• 현실적인 과제 구성. 7개 생활·생산성 영역에서 중국어와 영어 과제 203개를 수록했습니다. 실제 사용자 질의에서 출발해 여러 단계의 검색, 정보 비교, 추론, 근거 통합을 요구합니다.
• 세밀한 인간 평가 기준. 연구팀은 4,500시간 이상을 들여 주석을 진행하고, 전문가가 작성한 4,000개 이상의 루브릭을 구축했습니다. 보고서의 범위와 사실 정확성뿐 아니라 값, 단위, 날짜, URL 같은 세부 항목도 확인합니다.
• 통일된 평가 환경. 12개 고급 딥리서치 에이전트를 동일한 평가 하네스에서 테스트했습니다. 단순한 순위뿐 아니라 검색, 사실 검증, 결과 구성에서 반복적으로 나타나는 실패 양상도 분석합니다.
• 최고 점수도 충분하지 않다. 논문에 따르면 가장 높은 성능을 보인 프런티어 에이전트 GPT-5.6 Sol의 점수는 63.4%였습니다. 겉으로 완성도 높은 보고서라도 필수 정보가 빠지거나, 세부 값이 틀리거나, 근거와 결론이 제대로 연결되지 않을 수 있다는 뜻입니다.
• 인간 판단과 높은 일치도. 후보 대규모 언어모델 심사기를 인간 루브릭 라벨과 비교해 평가 설정을 선택했고, 별도의 인간 순위 연구도 진행했습니다. 종합 점수와 인간 판단의 상관계수는 Spearman ρ 0.89, Kendall τ 0.81로 보고됐습니다.

의미와 영향

현실의 조사 과제에는 하나의 깔끔한 정답이 없는 경우가 많습니다. 사용자는 여러 조건을 동시에 제시하고, 정보는 서로 다른 웹페이지에 흩어져 있으며, 수치와 단위, 업데이트 날짜도 제각각입니다. 따라서 답변이 풍부해 보이는지만 평가해서는 실무에서 중요한 오류를 잡아내기 어렵습니다.

LifeSearch의 핵심 가치는 평가의 초점을 문장 품질에서 근거 기반 과제 수행으로 옮겼다는 데 있습니다. 에이전트가 정보를 찾고 글로 정리하는 능력이 뛰어나더라도, 모든 요구사항을 추적하고 수치를 검증하며 긴 조사 과정의 일관성을 유지하는 능력은 별개의 문제입니다. 63.4%라는 최고 점수는 현재 시스템이 유용한 보조 도구이지만, 사람의 확인 없이 맡길 수 있는 수준에는 아직 이르지 않았다는 신호로 볼 수 있습니다.

개발자는 LifeSearch를 활용해 검색 계획, 출처 연결, 세부 정보 추출, 최종 검수 단계의 약점을 진단할 수 있습니다. 사용자는 길고 자신감 있게 작성된 보고서일수록 핵심 주장을 직접 확인해야 한다는 점을 기억할 필요가 있습니다. 앞으로의 딥리서치 에이전트는 더 많은 정보를 수집하는 것뿐 아니라, 각 근거가 어떤 결론을 지지하는지 명확히 설명하고 누락과 충돌을 출력 전에 점검해야 합니다.

출처: Hugging Face Daily Papers