VisSearch-Bench가 보여준 멀티모달 에이전트의 장기 시각 검색 한계

들어가며

멀티모달 에이전트는 웹 검색과 이미지 도구를 호출해 내부 지식만으로는 답하기 어려운 질문을 처리할 수 있다. 하지만 기존 검색 과제 중에는 이미지가 첫 번째 대상을 식별하는 데만 쓰이고, 이후 과정은 텍스트 검색으로 진행되는 경우가 많다. 이런 설정만으로는 에이전트가 시각 정보를 계속 기억하고 이후에 얻은 근거와 연결하는지 알기 어렵다.

VisSearch-Bench는 바로 이 공백을 겨냥한다. 장기 시각 검색에서 에이전트는 객체의 외형, 세부 요소, 공간적 관계를 정리한 뒤, 여러 검색 단계에서 수집한 외부 정보와 정확하게 연결해야 한다.

핵심 내용

• 넓은 과제 범위: 7개 주요 분야와 25개 하위 분야에 걸친 204개의 인간 작성 과제를 포함한다. 각 과제에는 기준 답변, 추적 가능한 근거, 채점 규칙이 제공된다.
• 다섯 가지 검색 유형: Set-wise Visual Search, Sequential Visual Search, Hybrid Wide–Deep Search, Competitive Visual Disambiguation, Visual-Structure-Guided Search로 구성된다. 여러 객체의 정리, 시각 단서의 연쇄, 후보 비교, 유사 대상 구분, 공간 구조 활용 능력을 각각 점검한다.
• 과정도 평가: 전체 과제 성공 여부 외에 Process Score를 사용해 개별 결과와 하위 질문 답변이 정확하고 충분한지 살핀다. 우연히 맞힌 답과 신뢰할 만한 검색 과정을 구분할 수 있는 방식이다.
• 낮은 완전 해결률: 16개 멀티모달 모델을 평가한 결과, 가장 좋은 시스템도 과제의 26.47%만 완전히 해결했다. 검색 도구를 제공하는 것만으로는 시각적 맥락 관리 문제를 해결할 수 없다는 뜻이다.

에이전트가 막히는 지점

연구진의 관찰에 따르면 Set-wise Visual Search에서 문제가 특히 분명하게 나타난다. 에이전트가 필요한 항목을 모두 확인하기 전에 검색을 멈추거나, 이미 정보를 찾았는데도 계속 검색하거나, 앞서 세운 잘못된 추측으로 되돌아가는 일이 발생한다. 관련 이미지를 확보하고도 시각적 근거를 다시 확인하지 않고 기억이나 추정으로 빈칸을 채우는 경우도 있다. 같은 객체를 반복해서 검색하면 이미지 사용량이 늘고 맥락이 길어져 관리가 더 어려워진다.

Hybrid Wide–Deep Search에서는 텍스트 검색처럼 진행하기 쉬운 작업에 집중하고 필요한 시각 검증을 미루는 경향이 드러난다. 객체와 근거가 늘어날수록 에이전트는 “어떤 이미지가 어떤 객체를 보여주는지”, “어떤 검색 결과가 어떤 판단을 뒷받침하는지”를 계속 추적해야 한다. 마지막에는 이 관계를 하나의 완전하고 일관된 답변으로 통합해야 한다.

의미와 영향

VisSearch-Bench는 멀티모달 평가의 초점을 단일 이미지 인식에서 장기적인 증거 관리로 확장한다. 모델 개발자는 도구 호출 횟수나 최종 정답률만 볼 것이 아니라, 시각 메모리, 근거 색인, 검색 중단 기준, 단계 간 일관성 검사를 함께 개선해야 한다. Process Score는 모델이 근거를 찾지 못한 것인지, 찾고도 제대로 활용하지 못한 것인지 구분하는 데 도움을 준다.

이 연구가 특정 아키텍처의 우위를 확정하는 것은 아니다. 대신 현재 멀티모달 에이전트가 이미지와 텍스트를 각각 처리할 수는 있어도, 두 정보를 검증 가능한 추론 흐름으로 결합하는 데 여전히 불안정하다는 공통적인 한계를 보여준다. 연구, 쇼핑, 사실 확인처럼 긴 절차가 필요한 활용처에서는 한 장의 이미지를 정확히 인식하는 능력보다 시각적 맥락을 끝까지 유지하는 능력이 더 중요해질 수 있다.

출처: Hugging Face Daily Papers