영상 세계 모델의 물리학 시험, 그럴듯함과 일관성은 다르다

들어가며

영상 세계 모델은 이제 보기 좋은 영상을 만드는 데서 멈추지 않고, 다음에 어떤 일이 일어날지 예측하고 체화된 AI의 행동 계획을 지원하는 역할까지 기대받고 있다. 이때 시각적 사실감과 물리적 신뢰성은 같은 개념이 아니다. 물체의 질감과 조명, 움직임이 자연스러워 보여도 충돌, 액체의 흐름, 열 변화가 기본 법칙을 어길 수 있다. 이러한 오류는 단순한 영상 품질 문제가 아니라 세계 모델의 예측 능력을 약화시키는 요인이 된다.

무엇을 시험하는가

논문은 물리적 타당성을 주관적인 인상에서 관찰 가능한 관계의 측정 문제로 바꾸는 World Models' Last Exam in Physics를 제안한다. 벤치마크는 다음 40개 통제 과제로 구성된다.

• 역학
• 광학
• 유체
• 열 현상과 상변화
• 전자기학
• 표면장력

각 과제는 초기 이미지와 생성 프롬프트를 제공하고, 확인해야 할 물리적 기준을 미리 정한다. 모델이 특정 기준 영상을 프레임 단위로 복제했는지를 보는 것이 아니라, 생성된 영상에 요구된 관찰 가능한 물리 관계가 나타나는지를 검사한다. 따라서 시각적 표현이 서로 달라도 동일한 물리 조건을 기준으로 비교할 수 있다.

인상 평가에서 측정 평가로

평가기는 먼저 해당 현상이 영상에서 충분히 관찰 가능한지 확인한다. 물체가 사라지거나 화면이 흐릿한 경우처럼 판단에 필요한 정보가 부족할 때 무리하게 물리 점수를 매기지 않기 위해서다. 관찰 가능성이 확인되면 과제의 성격에 맞춘 정량적 물리 측정을 적용한다.

연구진은 8개 영상 생성 모델이 만든 1,280개 영상을 평가했다. 결과는 물리적 불일치가 여전히 반복되며, 모델 성능이 과제별로 크게 달라진다는 점을 보여준다. 가장 높은 종합 점수는 100점 만점에 57.76점이었다. 이는 영상 생성 품질이 좋아졌다고 해서 여러 물리 영역에서 일관된 결과를 자동으로 만들어내는 것은 아님을 뜻한다.

또한 알려진 물리 관계를 포함한 합성 영상으로 측정 모듈을 검증해, 통제된 조건에서 평가 방식이 작동한다는 근거를 제시했다. 직접적인 비전-언어 모델 판단과 비교했을 때, 제안된 평가기는 과제 내부 순위와 쌍대 비교 모두에서 인간 평가와 더 높은 일치도를 보였다.

의미와 한계

이 연구의 핵심 가치는 하나의 시각 품질 점수보다 구체적인 실패 지점을 진단할 수 있다는 데 있다. 어떤 모델이 운동에는 강하지만 유체나 열 관계에는 약한지 확인할 수 있고, 이를 통해 로봇 조작, 시뮬레이션, 행동 계획을 위한 개선 방향을 세울 수 있다.

다만 이 벤치마크가 측정하는 것은 선택된 관찰 가능 관계이지, 모델이 물리학 전체를 이해한다는 증거는 아니다. 현상이 얼마나 잘 보이는지, 과제가 어떻게 설계됐는지, 측정 모듈에 어떤 한계가 있는지가 점수에 영향을 줄 수 있다. 앞으로는 행동 조건부 생성, 장기 예측, 실제 또는 시뮬레이션 환경과의 상호작용 평가를 함께 사용해야 한다. 세계 모델의 다음 과제는 그럴듯한 장면을 만드는 것을 넘어, 물리적으로 올바른 결과를 예측하는 것이다.

출처: Hugging Face Daily Papers