영상 시청을 넘어선 연구: 영상 중심 딥리서치 에이전트 평가

도입

딥리서치 에이전트는 웹을 검색하고 여러 자료를 종합해 긴 보고서를 작성할 수 있다. 하지만 기존 벤치마크는 대체로 텍스트 질문이나 웹 문서를 출발점으로 삼는다. 영상이 연구의 출발점이 되면 요구사항이 달라진다. 에이전트는 영상 속 장면과 음성을 이해하고, 추가 조사가 필요한 순간을 골라내며, 외부 자료로 주장을 검증하고, 독자가 원본 영상으로 되돌아갈 수 있는 보고서를 만들어야 한다.

《Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports》는 이러한 작업을 영상 중심 딥리서치 보고서 생성이라는 과제로 정리했다.

일반적인 영상 질의응답과 무엇이 다른가

사용자는 영상과 조사 요청을 제공한다. 에이전트는 먼저 연구 질문을 구성하고 영상의 시각·청각 정보를 분석한 뒤, 웹페이지와 이미지, 다른 영상 등 멀티모달 자료를 검색한다. 최종 결과물은 관련 영상 시점과 연결된 인터랙티브 보고서여야 한다.

이는 “영상에 무엇이 나오는가”를 답하는 일반적인 영상 QA보다 훨씬 넓은 작업이다. 좋은 보고서는 관련 장면을 찾아주는 데서 끝나지 않는다. 영상 속 주장이 외부 자료로 뒷받침되는지 확인하게 하고, 시연된 절차를 재현하도록 돕고, 영상과 주변 정보를 함께 고려해 판단할 수 있게 해야 한다.

OmniDR-Bench의 평가 방식

연구진은 19개 현실 세계 하위 분야를 다루는 중국어·영어 50개 과제로 OmniDR-Bench를 구성했다. 평가 기준은 총 6,414개다. 단순한 종합 인상 점수에 의존하지 않기 위해 Omni Atomic Rubric Trees, 즉 Omni-ARTs를 사용해 결과물을 세부적인 조건으로 분해한다.

핵심 평가 영역은 세 가지다.

• 시청각 grounding: 보고서의 주장이 영상 속 정확한 인물, 행동, 발화, 사건, 시점에 연결되는가.
• 멀티모달 증거 활용: 외부 웹·이미지·영상 자료를 적절히 찾고 원본 영상과의 관계를 설명하는가.
• 인터랙티브 표현: 사용자가 보고서를 탐색하고 핵심 시점으로 이동해 근거를 검증할 수 있는가.

각 평가 트리는 23개의 공통 방향과 과제별 원자적 이진 기준을 포함한다. 연구진은 독립적인 증거 수집, 자동 검사, 행동 기준 보정, 반복적인 사람 검토를 결합한 Audited Rubric Construction 절차도 제시했다.

실험 결과가 보여주는 것

18개 에이전트 구성에서 최고 시스템의 점수는 100점 만점에 63.3점이었다. 현재 모델이 영상 이해, 검색, 보고서 작성의 개별 기능은 어느 정도 수행하지만, 이 기능들을 안정적인 연구 과정으로 통합하는 데에는 아직 큰 여지가 있다는 뜻이다.

특히 다양한 영상 유형을 폭넓게 다루는 능력, 시각·음성·텍스트를 넘나드는 인과 및 논리 분석, 주장과 인용의 정확한 대응이 약점으로 나타났다. 관련 있어 보이는 웹페이지를 찾는 것만으로는 충분하지 않다. 해당 자료가 바로 그 주장을 입증하는지, 그리고 그 주장이 영상의 어느 장면과 연결되는지를 명확히 보여줘야 한다.

의미와 영향

이 벤치마크는 평가의 질문을 “에이전트가 영상을 설명할 수 있는가”에서 “영상을 기반으로 연구를 수행할 수 있는가”로 확장한다. 교육 콘텐츠 검토, 제품 시연, 인터뷰 분석, 작업 절차 안내, 과학 실험 영상처럼 설명과 검증이 동시에 필요한 분야에 특히 의미가 있다.

멀티모달 연구의 핵심은 입력 형식을 늘리는 데 있지 않다. 시간 위치를 정확히 찾고, 서로 다른 모달리티의 정보를 추론하며, 출처를 확인하고, 결론에서 근거로 되돌아갈 수 있는 인터페이스를 제공해야 한다. OmniDR-Bench는 앞으로의 영상 연구 에이전트가 단순 요약을 넘어 신뢰 가능한 조사 도구로 발전하기 위해 해결해야 할 문제를 구체적으로 보여준다.

출처: Hugging Face Daily Papers