PhyProbe, 생성 동영상의 물리적 일관성을 다시 평가하다

생성 동영상에서 물리 평가가 중요한 이유

생성 동영상은 점점 더 사실적으로 보이지만, 화면의 외관이 자연스럽다고 해서 실제 세계의 물리 법칙까지 따르는 것은 아닙니다. 물체의 속도가 갑자기 변하거나, 접촉과 충돌의 관계가 맞지 않거나, 연속 프레임 사이에서 형태와 궤적이 급격히 흔들리는 문제가 대표적입니다. 이런 오류는 정지 이미지 품질이나 단순한 의미 이해만으로는 발견하기 어렵습니다.

NVIDIA 연구진은 논문 ‘PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos’에서 이 문제를 겨냥한 평가기를 제안했습니다. PhyProbe는 프롬프트나 참조 동영상 없이 평가 대상 동영상만 입력받아 물리적 일관성 위반 정도를 점수로 출력합니다.

기존 평가 방식의 한계

현재 접근은 크게 두 가지로 나뉩니다. 하나는 범용 비전·언어 모델에 동영상이 물리적으로 타당한지 판단하게 하는 방식입니다. 그러나 범용 모델은 세부적인 시간 변화나 동역학보다 물체의 의미, 장면의 내용, 전체적인 외관에 더 집중할 수 있습니다.

다른 하나는 사람의 주석 데이터로 전용 평가기를 파인튜닝하는 방식입니다. 특정 벤치마크에서는 효과적일 수 있지만, 데이터셋에만 존재하는 시각적 단서를 학습하면 새로운 동영상 분포나 비교 조건에서 성능이 떨어질 수 있습니다.

감독 신호 역시 서로 다릅니다. 어떤 데이터는 두 동영상 중 어느 쪽이 더 나은지만 알려주고, 다른 데이터는 절대 점수를 제공합니다. 절대 점수에는 노이즈가 있을 수 있고, 데이터 출처마다 점수의 기준이 다를 수 있습니다. 따라서 순위 정보와 점수 보정을 따로 다루면 평가 결과가 불안정해질 수 있습니다.

PhyProbe의 구성

PhyProbe는 사전학습된 시공간 인코더 PE-Core-G14-448를 고정한 상태로 동영상 특징을 추출합니다. 이후 약 100만 개 파라미터 규모의 경량 스코어링 헤드가 특징을 하나의 물리적 일관성 위반 점수로 변환합니다. 대규모 동영상 모델 전체를 다시 학습하지 않으며, 입력도 동영상 하나로 제한됩니다.

학습 과정은 세 가지 목표를 결합합니다.

• 쌍별 순위 학습: 두 동영상 중 물리적으로 더 일관된 결과를 구분합니다.
• 노이즈가 있는 점수 회귀: 위반 정도를 연속적인 수치로 학습합니다.
• 앵커 기반 보정: 서로 다른 감독 데이터의 점수 척도를 안정적으로 맞춥니다.

이 설계의 핵심은 두 가지입니다. 평가기가 상대적인 우열을 제대로 정렬해야 하고, 동시에 출력 점수도 데이터와 설정이 달라져도 해석 가능한 척도에 놓여야 한다는 점입니다.

보고된 성능과 해석

논문 초록에 따르면 PhyProbe는 실제 동영상과 생성 동영상, 생성 동영상끼리의 비교를 포함한 대부분의 쌍별 벤치마크에서 기존 방법보다 좋은 결과를 보였습니다. 특히 서로 대응하는 참조가 없는 조건과 생성 동영상 간 비교에서 개선 폭이 컸습니다. 이러한 환경은 데이터셋 특화 주석에 의존하는 파인튜닝 평가기가 취약해지기 쉬운 경우입니다.

사람의 판단과도 높은 상관을 보였으며, 순위 기반 지표와 선형 지표가 비슷한 수준으로 나타났습니다. 이는 단순히 결과의 순서만 맞추는 것이 아니라 0에서 1 사이의 안정적인 척도로 점수를 배치하려는 설계가 어느 정도 작동했음을 시사합니다. 다만 이 점수는 물리적 일관성 위반을 나타내는 지표이지, 미적 품질이나 의미 정확성, 프롬프트 준수까지 종합한 단일 품질 점수는 아닙니다.

물리적 일관성 관련 감독만 사용했음에도 명시적인 일반 선호 라벨 없이 사람의 선호 벤치마크에서 경쟁력 있는 성능을 보였다는 점도 보고됐습니다. 물리적 오류가 불안정한 움직임이나 전반적인 품질 저하와 함께 나타나는 경우가 많기 때문으로 해석할 수 있습니다.

생성 모델 평가에 주는 의미

PhyProbe는 프롬프트와 매칭되는 참조 동영상을 준비하지 않고도 생성 결과를 대량으로 점검할 수 있는 실용적인 방향을 제시합니다. 또한 상대 순위와 절대 점수를 함께 학습해야 평가 결과의 일반화와 보정을 동시에 고려할 수 있다는 점을 보여줍니다.

물론 물리적 타당성은 동작 유형과 장면에 따라 달라지며, 학습 데이터에 포함되지 않은 분포에서의 성능은 추가 검증이 필요합니다. 그럼에도 PhyProbe는 생성 동영상의 시간적·동역학적 오류를 별도로 측정하고, 더 신뢰할 수 있는 평가 파이프라인을 구축하기 위한 유용한 출발점입니다.

출처: Hugging Face Daily Papers