PAWBench가 묻다: 동영상 생성 모델은 결과의 확률까지 재현할 수 있을까

들어가며

동영상 생성 모델은 점점 더 자주 ‘세계 모델’로 불리고 있습니다. 하지만 장면이 자연스럽고 물리적으로 그럴듯한 영상 한 편을 만드는 것과, 세계의 동역학을 제대로 모델링하는 것은 같은 일이 아닙니다. 현실의 많은 과정은 하나의 정답으로 결정되지 않습니다. 같은 초기 관찰과 같은 행동에서도 여러 결과가 모두 가능할 수 있습니다.

따라서 세계 모델은 가능한 미래 중 하나를 그럴듯하게 제시하는 데 그쳐서는 안 됩니다. 어떤 행동들이 가능한지, 그리고 각 행동이 얼마나 자주 나타나는지를 함께 재현해야 합니다. PAWBench는 이러한 요구를 ‘확률적 정렬’이라고 정의하고, 동영상 생성 모델을 분포 수준에서 평가하는 벤치마크를 제안합니다.

영상 한 편으로는 부족한 이유

기존 평가 방식은 주로 개별 영상의 품질에 집중합니다. 영상이 현실적으로 보이는지, 프롬프트를 따르는지, 시간적으로 일관적인지 등을 확인하는 방식입니다. 이런 기준은 여전히 중요하지만, 동일한 조건에서 여러 번 생성했을 때 모델이 환경의 불확실성을 올바르게 표현하는지는 알려주지 못합니다.

모델이 매번 시각적으로 설득력 있는 한 가지 결과만 선택한다면, 실제로 가능한 다른 결과를 놓칠 수 있습니다. 반대로 다양한 결과를 만들어내더라도 각 결과의 발생 비율이 실제 분포와 다르면 확률적으로 정렬됐다고 보기 어렵습니다.

PAWBench의 평가 프로토콜인 PAWEval은 이 문제를 다음과 같이 다룹니다.

• 반복 롤아웃: 동일한 초기 상태와 행동을 여러 차례 실행한다.
• 결과 수준 분석: 반복 생성된 영상을 관찰 가능한 물리적 행동의 분포로 변환한다.
• 범위와 확률을 함께 측정: 유효한 결과를 충분히 포함하는 동시에 각 결과의 상대적 빈도도 비교한다.

이 관점에서 모델은 단순한 영상 제작기가 아니라 세계 동역학을 확률적으로 샘플링하는 시스템으로 평가됩니다.

현재 모델의 한계

연구진은 50개 시나리오와 11개 시스템을 대상으로 실험했습니다. 핵심 결과는 현재 모델들이 유효한 행동의 범위를 회복하면서 참조 확률까지 일관되게 맞추지는 못한다는 것입니다.

이는 모든 생성 영상이 비현실적이라는 의미가 아닙니다. 한 번의 생성에서 보이는 국소적 사실성과, 반복 생성에서 나타나는 분포의 정확성은 서로 다른 능력이라는 뜻입니다. 여러 미래를 고려해 계획을 세워야 하는 로봇이나 에이전트에게는 이 차이가 특히 중요합니다.

연구는 예측 분포를 바꿀 수 있는 요인으로 언어 프롬프트, 초기 노이즈 샘플링, 모델 학습도 살펴봅니다. 무작위성은 단순한 생성 오류가 아니라, 가능한 미래를 표현하는 수단이 될 수도 있습니다. 다만 제공된 자료는 이 요인들이 확률적 정렬 문제를 이미 해결했다고 주장하지 않습니다.

왜 중요한가

로봇 제어, 상호작용형 시뮬레이션, 장기 계획을 수행하는 에이전트는 그럴듯한 미래 하나만 선택해서는 충분하지 않습니다. 어떤 결과가 일어날 수 있는지, 각 결과가 얼마나 가능성이 높은지를 함께 추정해야 합니다. 빈도가 낮더라도 중요한 결과를 놓치면 의사결정의 안정성이 떨어질 수 있습니다.

PAWBench의 가장 큰 의미는 세계 모델 평가의 질문을 바꾼 데 있습니다. “이 영상이 맞아 보이는가?”에서 “같은 조건을 반복했을 때 올바른 분포를 재현하는가?”로 초점을 이동시킨 것입니다. 앞으로의 학습 목표와 샘플링 방식, 벤치마크는 영상의 외형뿐 아니라 불확실성과 결과 분포까지 다뤄야 합니다.

이 연구는 현재 동영상 생성 모델이 완성된 세계 모델이라고 선언하지 않습니다. 대신 현실적인 미래를 생성하는 능력과, 세계에서 가능한 미래를 올바른 확률로 샘플링하는 능력이 다르다는 점을 분명히 보여줍니다.

출처: Hugging Face Daily Papers