VGI-Bench, 동영상 생성 모델의 시각적 추론 능력을 검증하다

들어가며

동영상 생성 모델의 성능은 이제 얼마나 사실적인 영상을 만드는지만으로 판단하기 어렵다. 화면이 자연스럽게 보여도 물체가 왜 움직였는지, 관계가 어떻게 바뀌었는지, 여러 상태가 어떤 순서로 전환되어야 하는지를 이해한다는 보장은 없다. “VGI-Bench: Probing Visual Intelligence in Video Generation Models”는 동영상 생성 모델이 실제로 어느 정도의 시각적 지능을 갖추고 있는지 확인하기 위한 평가 벤치마크다.

최종 장면보다 변화의 과정에 초점

VGI-Bench는 27개 과제와 810개 인스턴스로 구성된다. 과제 영역과 세부 기술 태그를 결합한 2단계 분류를 적용해, 모델의 시각적 추론 능력을 여러 측면에서 세밀하게 살펴볼 수 있도록 설계했다.

핵심은 마지막 프레임이 그럴듯한지만 확인하지 않는다는 점이다. 모델은 특정한 최종 상태를 만들어내는 동시에, 그 상태에 이르는 중간 변화도 시각적으로 타당하게 표현해야 한다. 이는 동영상 모델이 익숙한 시각적 사전지식을 이용해 결과 장면을 만들 수는 있어도, 프레임 사이의 상태 변화와 과정의 일관성을 유지하지 못하는 문제를 겨냥한다.

연구진은 현재 동영상 모델의 시각적 선행지식과 맞는 입력을 사용하고, 과제가 지나치게 어려워 사실상 풀 수 없게 되지 않도록 난이도도 조정했다. 이를 통해 단순한 실패율이 아니라 모델이 어디까지 실제로 추론하는지를 관찰하려 했다.

평가가 보여준 한계

실험 결과, 현재 생성 시스템은 일부 시각적 근거 기반 추론 과제를 해결할 수 있었다. 하지만 전반적인 신뢰성은 아직 낮았다. 평가된 모델 가운데 가장 강력한 Seedance 2.0도 해당 기준에서 51.0%에 머물렀다. 이는 모델이 전혀 추론하지 못한다는 뜻이라기보다, 익숙한 패턴에서는 작동하더라도 여러 동적 조건을 동시에 만족해야 하는 상황에서 쉽게 불안정해진다는 의미에 가깝다.

분석에서 확인된 주요 문제는 다음과 같다.

• 결과 영상은 일관되어 보여도 실제 과제 조건을 충족하지 못할 수 있다.
• 입력 조건과 시각적 표현 방식에 성능이 민감하게 반응한다.
• 합성 데이터 미세조정으로 얻은 능력은 다른 문제로 제한적으로만 전이된다.
• 내부 디노이징 과정에서 후반 단계는 잘못된 초기 추론을 고치기보다 초기 가설을 다듬는 데 집중한다.

의미와 영향

VGI-Bench는 동영상 생성 모델의 발전을 화질이 아닌 과정의 타당성과 추론의 신뢰성으로도 평가해야 한다는 점을 보여준다. 질감이나 움직임의 자연스러움을 개선하는 것만으로는 계획 수립, 상태 추적, 오류 수정 능력이 자동으로 향상되지 않는다. 앞으로는 더 나은 중간 표현, 강한 시공간 기억, 생성 중 가설을 다시 점검하는 메커니즘이 필요할 수 있다.

이 벤치마크는 모델이 어떤 시각 기술에서는 성공하고 어떤 동적 추론 단계에서 실패하는지 비교할 수 있게 한다. 동영상 생성 모델이 시뮬레이션, 상호작용, 세계 모델링으로 확장될수록 이러한 진단형 평가의 중요성도 커질 전망이다.

출처: Hugging Face Daily Papers