VideoMemBench, 비디오 모델은 정말 기억하고 있을까

들어가며

멀티모달 대규모 언어 모델은 이제 한 시간에 가까운 긴 비디오도 처리할 수 있습니다. 하지만 긴 영상을 입력할 수 있다는 사실이 대화 중 필요한 정보를 안정적으로 기억한다는 뜻은 아닙니다. 실제 사용에서는 사용자가 먼저 특정 장면을 설명해 달라고 한 뒤, 그 장면과 다른 사건의 관계를 물을 수 있습니다. 모델이 앞서 내린 판단을 바탕으로 추가 추론을 요구할 수도 있습니다.

VideoMemBench는 이런 능력을 ‘문맥 내 비디오 기억’으로 정의하고 측정하는 벤치마크입니다. 모델이 영상에서 본 내용뿐 아니라 이전 턴에서 자신이 말한 내용도 기억하고 재사용할 수 있는지를 평가합니다.

핵심 특징

• 독립형 QA에서 연속 대화로 전환. 기존 비디오 QA에서는 질문들이 서로 독립적이고 영상만으로 답할 수 있는 경우가 많았습니다. 따라서 모델이 앞선 대화를 유지할 필요가 없었습니다. VideoMemBench는 후속 질문이 이전 턴의 정보에 의존하도록 구성합니다.
• 두 가지 의존성 구분. ‘에피소드 의존성’은 앞서 설명한 시각적 사건을 기억하는지 평가합니다. ‘답변 의존성’은 모델이 이전에 제시한 답변을 바탕으로 계속 추론할 수 있는지를 평가합니다.
• 겉보기 의존성 방지. 각 의존성은 앞선 턴 없이는 답할 수 있어야 하며, 후속 질문이 필요한 정보를 그대로 반복해서도 안 됩니다. 데이터 구축에는 플래너, 제너레이터, 저지라는 세 가지 LLM 역할이 사용되고, 모든 대화는 인간 전문가의 검토를 거칩니다.
• 장거리 참조 포함. 여러 이전 턴을 동시에 참조하는 사례와 멀리 떨어진 대화를 다시 불러오는 사례가 포함되어, 단순한 연속 질문보다 까다로운 평가를 제공합니다.

결과와 의미

VideoMemBench는 326개 비디오와 2,476개 대화 턴으로 구성됩니다. 이 가운데 1,387개 턴이 이전 턴에 의존합니다. 연구진은 20개가 넘는 오픈소스 및 폐쇄형 멀티모달 모델을 평가했으며, Claude Opus 5가 가장 높은 성능을 보였습니다. 그러나 종합 점수는 45.7%에 불과했습니다. 긴 영상을 처리하는 능력과 대화 전반에서 기억을 유지하는 능력이 서로 다른 문제라는 점을 보여주는 결과입니다.

핵심 난제는 단순히 더 많은 프레임이나 토큰을 문맥에 넣는 것이 아닙니다. 모델은 과거 정보 중 무엇이 중요한지 판단하고, 올바른 영상 장면을 찾아내며, 영상의 근거와 자신의 이전 발화를 구분해야 합니다. 따라서 긴 컨텍스트만으로는 충분하지 않고, 대화 상태 관리와 기록 검색, 답변 일관성을 높이는 방법이 필요합니다.

이 벤치마크는 비디오 이해와 대화 기억을 하나의 통제된 평가 틀에서 연결했다는 점에서 의미가 있습니다. 비디오 비서, 장시간 작동하는 에이전트, 회의 분석 시스템, 교육용 도구를 평가하는 데 활용할 수 있습니다. 앞으로의 비디오 어시스턴트는 화면 속 사실뿐 아니라 대화에서 이미 확인된 내용도 기억해야 합니다. VideoMemBench는 그 능력을 점검하기 위한 출발점입니다.

출처: Hugging Face Daily Papers