검색에서 연구로: OpenDS가 실제 웹에서 AI 에이전트를 시험하다

들어가며

오늘날의 AI 검색 에이전트는 검색 엔진을 호출하고 웹페이지를 열며 인용이 포함된 답변을 만들 수 있다. 그러나 관련 페이지를 찾는 것과 신뢰할 수 있는 연구를 완수하는 것은 다르다. 실제 웹에서는 정보가 여러 독립 출처에 흩어져 있고, 텍스트뿐 아니라 이미지와 문서 등 다양한 형식으로 제공된다. 어떤 증거는 복잡한 클릭과 탐색 과정을 거쳐야 접근할 수 있다. 에이전트는 조사 중 검색 전략을 바꾸고 단서를 검증한 뒤, 하나의 사실 답변으로 통합해야 한다.

이 문제를 겨냥한 연구가 「Deep Search in Real-World Web Environments」다. 연구진은 OpenDS 과제와 OpenDS-World 벤치마크를 제시했다.

핵심 내용

• 정적 검색에서 실제 웹 탐색으로 확장했다. OpenDS는 고정된 자료에서 답을 고르는 대신, 웹 검색·브라우저 상호작용·증거 처리 도구를 이용해 실제 웹을 자율적으로 탐색하도록 요구한다.
• 서로 다른 정보와 접근 방식을 다룬다. OpenDS-World는 200개 과제로 구성되며, 다양한 정보 양식과 파일 형식, 상호작용형 접근 조건을 포함한다. 증거의 유효성과 답변의 유일성은 독립적인 사람 검증을 거쳤다.
• 강력한 모델도 일관되지 않다. 동일한 도구 환경과 실행 프로토콜에서 12개 프런티어 모델을 평가한 결과, 최고 정확도는 39.0%였다. 언어 이해력과 도구 사용 능력만으로는 완전한 연구 성공을 보장하지 못한다.
• 사람에게도 어려운 과제다. 1,000회의 독립 시도를 기준으로 한 인간 평가의 정확도는 21.1%였다. 사람과 모델의 도구 사용 방식이 다르므로 단순한 우열 비교는 어렵지만, 과제 자체의 높은 난도를 보여주는 결과다.
• 문제는 검색 능력에 국한되지 않는다. 도구 사용, 검색 비용, 종료 시점, 실패 복구를 분석한 결과 모델별 연구 전략에 큰 차이가 있었다. 여러 도구를 조정하고 긴 검색 과정을 통제하는 일이 공통적인 약점으로 나타났다.

의미와 영향

OpenDS의 의미는 딥서치를 최종 답변의 정답률만으로 보지 않는 데 있다. 에이전트는 검색 범위를 넓힐지, 유망한 출처를 더 깊게 조사할지, 형식이 다른 자료를 어떻게 해석할지, 여러 출처의 증거가 서로를 뒷받침하는지를 판단해야 한다. 막다른 길에 도달했을 때 이전 단계로 돌아가 다른 경로를 시도하는 능력도 필요하다.

따라서 향후 개선 과제는 분명하다. 더 나은 작업 분해와 검색 계획, 안정적인 증거 사슬 관리, 정교한 브라우저 조작, 실패 시 복구 전략이 요구된다. 에이전트는 답만 제시하는 것이 아니라 어떤 증거로 결론을 도출했는지 설명하고, 근거가 부족한 상황도 인식해야 한다.

사용자에게 이번 연구가 주는 메시지는 명확하다. 현재의 딥서치 시스템은 유망한 연구 보조 도구지만, 감독 없이 사실 확인을 맡길 수 있는 완전한 자율 연구원은 아니다. 실제 활용을 위해서는 답변 생성뿐 아니라 조사 과정 전체를 관리하는 능력이 필요하다.

출처: Hugging Face Daily Papers