FIRM-Video: 영상 생성 평가를 위한 ‘확인 후 채점’ 프레임워크

텍스트로 영상을 생성하는 모델이 발전하면서 평가의 목적도 달라지고 있다. 이제 중요한 질문은 단순히 영상이 생성됐는지가 아니라, 여러 후보 중 어떤 결과를 선택할지다. 이를 위해서는 프롬프트의 요구사항을 제대로 따랐는지, 등장하는 물체와 행동이 시간의 흐름 속에서 자연스럽게 유지되는지, 화면에 뚜렷한 시각적 결함이 있는지를 함께 살펴봐야 한다. 하나의 전체 점수만으로는 이런 차이를 충분히 설명하기 어렵다.

FIRM-Video는 이 문제에 대해 ‘check before you score’, 즉 채점 전에 확인하는 절차를 제안한다. 논문은 고정된 루브릭에 따른 전체적 판정이나 자유 형식의 추론이 영상의 일부만 검사하게 만들고, 실제 화면에 근거하지 않은 설명을 낳거나, 낮은 점수의 원인을 여러 평가 차원에 뒤섞을 수 있다고 지적한다. FIRM-Video는 평가를 체크리스트 중심의 검증 과정으로 바꾼다. 각각의 기준을 영상의 시간적 시각 증거와 대조하고, 검증된 판단만 모아 최종 평가를 만든다.

평가를 나누는 세 가지 축

• 지시 이행: 프롬프트를 가중치가 부여된 원자적 요구사항으로 분해한다. 요청된 객체, 행동, 장면 조건 등을 개별적으로 확인하기 때문에 영상의 전반적인 분위기가 비슷하다는 이유로 중요한 조건의 누락을 놓칠 가능성을 줄인다.
• 세계 일관성: 모든 영상에 같은 일반 기준을 적용하지 않고, 프롬프트와 대상 영상에 맞춰 실제로 보이는 객체와 행동을 중심으로 점검 항목을 만든다. 시간에 따른 행동의 변화와 관계도 확인 대상이 된다.
• 지각 품질: 일반적인 시각 결함 분류를 활용해 생성물에서 관찰되는 왜곡이나 아티팩트를 점검한다. 프롬프트 내용과 무관하게 재사용할 수 있는 품질 평가 틀을 제공하려는 접근이다.

검증이 끝나면 확인된 기준과 점수는 자연어 분석으로 변환되어 엔드투엔드 보상 모델 학습에 사용된다. 이 과정의 핵심은 설명을 길게 만드는 데 있지 않다. 설명이 검증된 체크 결과에서 나오도록 해, 이유가 실제 영상의 특정 판단과 연결되도록 하는 데 있다. 이는 점수를 먼저 정한 뒤 그럴듯한 이유를 덧붙이는 평가 방식의 문제를 완화하려는 설계다.

저자들은 29,348개 영상에서 88,044개의 차원별 인스턴스를 수집해 FIRM-Video-90K를 구성했다. 또한 250개 영상에 대한 750개의 포인트 단위 인간 주석으로 FIRM-Video-Bench를 만들었다. 논문 보고에 따르면 Qwen3-VL 기반의 FIRM-Video-8B는 이 벤치마크에서 전체 평균 절대 오차(MAE) 기준으로 가장 좋은 결과를 기록했다. 세 비디오 생성기를 대상으로 한 Best-of-8 샘플링에서도 VBench의 Total, Quality, Semantic 점수에서 일관되게 최고 성능을 보였다.

의미와 남은 과제

FIRM-Video의 실질적인 기여는 영상 선호를 불투명한 단일 인상으로 처리하지 않고, 추적 가능한 증거 확인으로 분해했다는 점이다. 생성 후보를 자동으로 순위화하는 시스템에서는 최종 점수뿐 아니라 어떤 요구사항이나 결함 검사에서 문제가 발생했는지 파악하기 쉬워질 수 있다.

다만 체크리스트의 구성, 요구사항별 가중치, 시각 증거의 해석은 여전히 평가 설계에 영향을 받는다. 따라서 이 방법을 모든 주관성을 제거하는 만능 판정기로 보기보다는, 영상 보상 모델의 학습 감독을 더 명시적이고 감사 가능한 형태로 구성하는 방법론으로 이해하는 편이 적절하다. 공개된 데이터와 벤치마크는 이러한 설계가 실제 평가 정확도와 영상 선택에 어떤 차이를 만드는지 검증할 기반을 제공한다.

출처: Hugging Face Daily Papers