Code2Video-Compass가 평가한 코드 기반 영상 생성의 실제 역량

들어가며

영상 생성은 프롬프트를 입력하고 결과 영상을 받는 방식에서, 모델이 프로그램을 작성해 완성된 영상을 구성하는 방식으로 확장되고 있습니다. 코드 기반 생성은 세밀한 제어, 특정 영역의 편집, 구성 요소 재사용을 가능하게 합니다. 그러나 모델은 시각적·시간적 요구사항을 이해한 뒤 실행 가능한 코드로 바꾸고, 그 코드로 조건을 충족하는 영상을 만들어야 합니다. Code2Video-Compass는 이 전체 과정을 평가하기 위해 제안된 벤치마크입니다.

핵심 구성

• 세 가지 입력 설정을 다룬다. 텍스트에서 영상을 만드는 T2V, 이미지를 움직이는 I2V, 기존 영상을 변환하는 V2V를 같은 평가 틀에 포함합니다.
• 종합적인 창작 과제를 제공한다. 2,104개 과제를 10개 범주와 24개 하위 유형으로 구성하고, 장면 구성, 동적 애니메이션, 상태 의존성이라는 세 가지 복잡도 차원을 사용합니다.
• 텍스트와 시각적 참조를 함께 활용한다. 문장 지시에서 수집한 과제뿐 아니라 완성된 전문 영상과 사용자 제작 영상에서 파생한 T2V, I2V, V2V 과제도 포함합니다.
• 과정과 결과를 함께 평가한다. 12개 객관 지표와 5개 주관 지표로 조작 성능, 영상 품질, 텍스트-영상 정렬, 참조 충실도, 지시 이행, 전반적인 품질을 살펴봅니다.

평가가 보여준 한계

연구진은 9개 모델 계열에 속한 15개의 최신 상용 및 오픈 웨이트 MLLM을 평가했습니다. 결과는 입력 설정과 과제 복잡도에 따라 성능 차이가 상당하다는 점을 보여줍니다. 모델이 시각적으로 매력적인 영상을 만들더라도 요구된 코드나 작업을 안정적으로 수행한다고 보기는 어렵습니다. 반대로 코드 실행이 안정적이어도 최종 영상의 품질이나 참조 내용과의 일치도가 충분하다는 보장은 없습니다.

이처럼 ‘영상 품질과 실행 신뢰성의 분리’는 코드 기반 생성에서 중요한 문제입니다. 시스템은 단순히 올바른 대상을 화면에 배치하는 데 그치지 않고, 대상의 상태와 움직임, 시간적 관계를 지시에 맞게 관리해야 합니다. 최종 결과의 외관만으로 모델을 비교하면 실제 프로그램이 과제를 완료했는지, 혹은 우연히 좋은 결과가 나온 것인지 구분하기 어렵습니다.

의미와 영향

Code2Video-Compass는 코드 기반 영상 생성을 일부 전문 과제의 묶음이 아니라 보다 현실적인 창작 시나리오로 확장합니다. 연구자들은 실패 원인이 요구사항 해석, 코드 실행, 움직임 모델링, 참조 유지 중 어디에 있는지 분석할 수 있습니다. 애플리케이션 개발자에게는 모델을 선택할 때 보기 좋은 샘플뿐 아니라 실행 안정성과 지시 이행 수준도 확인해야 한다는 시사점을 줍니다.

앞으로의 경쟁은 더 아름다운 영상을 만드는 데만 머물지 않을 것입니다. 복잡한 시각적 의도를 실행 가능하고 재사용 가능하며 편집하기 쉬운 프로그램으로 얼마나 안정적으로 바꾸는지가 핵심 평가 기준이 될 수 있습니다.

출처: Hugging Face Daily Papers