PhyRubric, 텍스트-투-비디오의 물리 상식을 진단하다

들어가며

텍스트-투-비디오 모델을 평가할 때 영상이 선명하고 움직임이 자연스러운지만 확인해서는 충분하지 않습니다. 이 모델들이 ‘세계 시뮬레이터’로 기대된다면, 물체와 사건이 기본적인 물리 상식을 따르는지도 확인해야 합니다. 하지만 기존 벤치마크는 평가자가 영상을 보고 직관적으로 하나의 종합 점수를 주는 방식에 의존하는 경우가 많았습니다. 이런 점수는 전체적인 인상은 보여주지만, 어떤 물리 원칙이 깨졌는지 알려주지 못합니다.

PhyRubric은 이 문제를 더 세밀한 진단형 평가로 해결하려고 합니다. 먼저 텍스트 프롬프트에서 지켜야 할 의미적·물리적 조건을 추출한 뒤, 생성된 영상이 각 조건을 만족하는지 따로 확인합니다.

핵심 설계: 영상을 보기 전에 기준 작성

이 프레임워크의 핵심은 영상 확인 전에 캡션별 rubric을 만드는 것입니다. 생성 결과를 먼저 본 뒤 기준을 조정하는 일을 줄여, 영상이 실제로 보여준 모습에 평가 기준이 끌려가는 현상을 완화합니다. 기준은 요청된 대상과 동작이 등장하는지뿐 아니라, 해당 상황에서 요구되는 물리 조건도 다룹니다.

각 항목은 개별 verdict로 판정되며, 영상 속 특정 시점의 증거와 연결됩니다. 최종 점수도 이런 항목별 판단에서 계산됩니다. 모델 개발자 입장에서는 단일 점수보다 훨씬 유용한 결과입니다. 어떤 요구사항이 실패했는지, 그리고 영상의 어느 장면에서 문제가 드러나는지 확인할 수 있기 때문입니다.

연구진은 이 방법을 PhyRubric-Bench로 구현해 5개 물리 영역에 걸친 34개 카테고리를 구성했습니다. 또한 3,788개 영상으로 PhyRubric-Train을 만들고, 이를 바탕으로 오픈소스 평가기 PhyRubric-Judge를 미세 조정했습니다.

결과: 어려움은 움직임에만 있지 않다

10개 텍스트-투-비디오 모델을 평가한 결과, 물리 상식은 아직 해결되지 않은 문제로 남아 있었습니다. 특히 대부분의 모델에서 열과 음향이 가장 어려운 영역으로 나타났습니다.

음향 평가가 실제 오디오 트랙을 필요로 하는 것은 아닙니다. 생성 영상이 무음인 경우에도 스피커 소리로 종이가 흔들리거나, 알람시계가 울리면서 떨리는 것처럼 소리가 만들어내는 시각적 결과를 확인할 수 있습니다. 열 역시 물체를 그럴듯하게 배치하는 데 그치지 않고, 온도 변화로 생긴 결과를 영상에 표현해야 합니다.

제공된 자료에 따르면 PhyRubric-Judge는 기존 오픈소스 평가기보다 인간 판단과 더 높은 상관을 보였으며, 최첨단 비공개 평가기 Gemini 4 Argon과 비슷한 수준을 기록했습니다. 다만 영역별 상관 수치는 공개된 소재에 포함되어 있지 않으므로, 열이나 음향에서 인간과의 일치도가 특별히 낮다고 단정해서는 안 됩니다.

의미와 영향

PhyRubric의 의미는 새로운 순위표를 하나 더 만드는 데 있지 않습니다. 항목별 판정과 타임스탬프 증거는 연구자가 생성된 동작, 장면 이해, 인과적 일관성 등 어느 부분에서 문제가 발생했는지 추적하도록 돕습니다. 또한 캡션별 rubric은 모든 프롬프트에 동일한 체크리스트를 적용하는 방식보다 각 요청의 조건을 더 정확하게 반영할 수 있습니다.

물론 증거 해석은 여전히 시각-언어 평가기의 능력에 의존하며, 이번 소재만으로 rubric 작성 과정과 인간 주석의 세부 방식까지 확인할 수는 없습니다. 그럼에도 세계 모델을 평가할 때 ‘그럴듯해 보이는가’만으로는 부족하다는 점은 분명합니다. 앞으로는 영상 속 사건이 검증 가능한 물리 법칙을 따르는지 보여주고, 그 진단 결과를 다음 모델 개선에 활용하는 평가가 중요해질 것입니다.

출처: Hugging Face Daily Papers