OmniCompass, 시공간·음성-영상 이해를 함께 평가하는 비디오 벤치마크

비디오 이해를 어떻게 더 정확히 평가할 것인가

멀티모달 모델은 영상 내용을 설명하고 질문에 답할 수 있습니다. 그러나 자연스러운 답변을 생성하는 것과 올바른 영상 근거를 찾는 것은 다릅니다. 모델이 대상이 언제 등장했는지, 화면의 어디에 있는지, 답변을 뒷받침하는 음성 단서가 무엇인지 파악하지 못해도 그럴듯한 문장을 만들 수 있기 때문입니다. OmniCompass는 이러한 차이를 그라운딩, 지각, 추론의 관점에서 체계적으로 측정하려는 벤치마크입니다.

두 트랙과 세 가지 핵심 과제

OmniCompass는 두 개의 평가 트랙으로 구성됩니다. OmniCompass-VL은 주로 시각 및 언어 입력에 의존하는 모델을 대상으로 하고, OmniCompass-AV는 음성과 영상 근거를 함께 사용해야 하는 옴니모달 모델을 대상으로 합니다. 두 트랙 모두 다음 세 과제를 포함합니다.

• 시간 그라운딩(TG): 지시된 대상이 언제 등장하는지 찾는다.
• 공간 그라운딩(SG): 대상이 화면의 어디에 있는지 찾는다.
• 질의응답(QA): 영상에서 무슨 일이 일어났는지 답하며 지각과 추론을 평가한다.

OmniCompass-VL은 여러 분야의 영상 820개와 인스턴스 2,460개로 구성되며, 영상 길이는 짧음·중간·김의 세 유형으로 나뉩니다. 이야기성이 높고 음성 정보가 풍부한 AV 하위 집합은 영상 240개와 인스턴스 720개를 포함합니다. 각 인스턴스는 텍스트만으로 대상을 지정하는 조건과 텍스트+이미지로 지정하는 조건에서 쌍으로 평가됩니다. 대상은 동일하게 유지하고 지시 방식만 바꾸기 때문에, 모델이 특정 참조 형식에 과도하게 의존하는지 확인할 수 있습니다.

모든 인스턴스는 사람이 주석을 달았고 여러 차례 품질 검수를 거쳤습니다. 연구진은 약 1,800시간의 인간 주석 작업을 제시하며, 데이터 규모뿐 아니라 시공간 위치와 질의응답 라벨의 신뢰성도 중요하게 다뤘습니다.

50개 모델 평가에서 드러난 한계

연구진은 50개 멀티모달 대규모 언어 모델을 평가하면서 과제 성능과 참조 방식 간 일관성을 함께 살폈습니다. 정밀한 시공간 그라운딩과 세밀한 지각은 여전히 취약했으며, 음성과 영상을 통합해야 하는 과제에서는 오픈소스 모델과 독점 모델 사이의 격차가 특히 두드러졌습니다.

시각적 참조를 추가한다고 항상 성능이 향상되는 것도 아닙니다. 효과는 모델과 과제에 따라 달랐고, 한 가지 참조 조건에서 높은 점수를 얻었다고 다른 조건에서도 정답을 보장하지는 않았습니다. 반면 타임스탬프는 대체로 그라운딩 성능을 높였고 평가 안정성도 크게 개선했습니다.

산업적 의미

OmniCompass는 비디오 이해를 대상의 위치, 등장 시점, 사건의 내용, 그리고 시각·언어·음성 정보의 일치 여부로 이어지는 증거 사슬로 바라봅니다. 개발자는 이를 통해 지각, 위치 특정, 추론 중 어느 단계에서 모델이 실패하는지 더 쉽게 구분할 수 있습니다. 사용자는 단일 리더보드 점수보다 서로 다른 참조 조건에서 답변이 안정적인지를 통해 모델의 신뢰성을 판단할 수 있습니다.

비디오 에이전트와 멀티미디어 검색 시스템은 유창한 답변만으로 충분하지 않습니다. 답변의 근거가 되는 장면과 영역을 가리킬 수 있어야 합니다. OmniCompass는 하나의 비디오 QA 점수를 전체 비디오 이해 능력으로 간주해서는 안 된다는 점을 보여주는 평가 설계입니다.

출처: Hugging Face Daily Papers