비디오 LLM은 정말 보고 있을까? VDG가 드러낸 정확도와 시각 이해의 분리

들어가며

비디오 대규모 언어모델을 평가할 때 흔히 쓰는 기준은 벤치마크 정확도다. 모델이 비디오 질문에 잘 답하면, 그만큼 영상을 이해했다고 여긴다. 하지만 논문 “Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks”는 이 전제가 항상 맞지 않는다고 말한다. 연구진은 2B부터 78B 파라미터 규모까지, 10개 아키텍처 계열에 걸친 20개 모델을 감사하며 정확도와 시각적 근거성이 분리될 수 있음을 보였다.

핵심 내용

• VDG 지표 제안: Visual Dependency Gap은 원본 비디오 입력과 검은 화면 입력에서 문항별 정답 여부가 얼마나 달라지는지 측정한다. 비디오를 제거해도 맞히는 문제라면, 실제 시각 이해를 평가하지 않을 가능성이 있다.
• 정확도는 근거성을 보장하지 않는다: MVBench에서 대응 McNemar 검정을 적용한 결과, 원본 비디오 조건에서는 모델 차이가 유의미했지만 검은 화면 조건에서는 그렇지 않았다. 일부 성능은 영상 정보가 아니라 언어적 선험 지식, 데이터셋 패턴, 질문 편향에서 나올 수 있다는 뜻이다.
• 작업 유형별 차이: 속성 인식은 시각 정보 의존도가 높았다. 반면 시간 추론은 언어 전용 기준선에 가까워, 현재의 일부 시간 추론 문항이 실제 비디오 시퀀스 이해를 충분히 요구하지 않을 수 있음을 시사한다.
• 프레임 다양성이 시간 순서보다 중요: 연구진은 검은 화면, 단일 프레임, 섞인 프레임, 원본 비디오로 이어지는 진단 단계를 구성했다. 16개 오픈 가중치 모델에서 시각적 이득의 대부분은 다양한 프레임을 보는 데서 나왔고, 올바른 시간 순서를 유지하는 효과는 정확도 기준으로 거의 0에 가까웠다.
• 희소 샘플링만의 문제는 아니다: 0.5에서 24 FPS까지의 소거 실험을 통해, 모델이 시간 순서를 활용하지 못하는 이유가 단순히 프레임을 너무 적게 보기 때문이라는 설명은 주요 원인으로 보기 어렵다고 분석했다.
• 압축은 불안정성을 가릴 수 있다: H.264 실험에서는 전체 정확도가 안정적으로 보여도, 개별 문항 수준에서는 정답에서 오답으로, 오답에서 정답으로 바뀌는 양방향 플립이 발생했다.

의미와 영향

이 연구는 비디오 LLM의 발전을 부정하려는 것이 아니다. 핵심은 평가 방식의 한계다. 리더보드 점수만으로는 모델이 실제로 영상을 사용했는지, 아니면 질문 패턴과 언어 단서를 활용했는지 알기 어렵다.

VDG는 이 문제를 비교적 직접적으로 감사하는 방법을 제공한다. 시각 정보를 제거한 뒤 같은 질문에 대한 성능이 얼마나 떨어지는지 확인하는 방식이다. 차이가 크면 시각 의존성이 강하다고 볼 수 있고, 차이가 작으면 문항 설계, 답변 분포, 언어적 우회 단서를 다시 점검해야 한다.

모델 개발자에게 VDG는 모델이 시각 증거를 활용하는지, 벤치마크의 규칙성을 이용하는지 구분하는 도구가 될 수 있다. 벤치마크 설계자에게는 단일 프레임, 섞인 프레임, 순수 언어 추론만으로 풀 수 없는 과제를 더 많이 포함해야 한다는 신호다.

연구진은 이 진단을 API로 접근한 4개 모델에도 적용했으며, VDG 값은 0.025에서 0.315 범위였다. 따라서 이 현상은 오픈 가중치 모델에만 국한되지 않는다. 비디오 멀티모달 모델이 콘텐츠 분석, 교육, 감시, 에이전트 워크플로로 확산될수록, 모델이 실제로 시각적으로 근거 있는 판단을 하는지 평가하는 일은 더욱 중요해질 것이다.

출처: arXiv