Principia, 영상 모델이 물리 법칙을 이해하는지 관계성으로 검증

서론

영상 생성 모델은 점점 더 사실적인 장면을 만들어 내고 있습니다. 하지만 화면이 자연스럽게 보인다고 해서 물리적으로 올바른 것은 아닙니다. 물체의 궤적이나 충돌이 매끄럽게 보이더라도, 여러 물체의 움직임을 함께 비교하면 가속도, 반발, 운동량 변화의 불일치가 드러날 수 있습니다.

Principia는 이 문제를 다르게 접근합니다. 생성 영상에서 속도나 거리를 절대값으로 복원하려 하기보다, 같은 장면에 있는 물체들이 하나의 물리 법칙에 맞는 관계를 보여 주는지 확인합니다.

절대 측정에서 관계적 일관성으로

생성 영상의 물리성을 평가할 때는 프레임 속도, 실제 물체 크기, 렌즈 정보, 카메라 보정값이 불확실하다는 문제가 있습니다. 이런 정보가 없으면 화면상의 이동량만으로 실제 속도나 중력을 정확히 판단하기 어렵습니다.

Principia는 물체를 쌍으로 비교해 이러한 모호성을 줄입니다. 같은 조건에서 움직이는 물체들은 예측 가능한 상대적 변화를 보여야 하며, 충돌한 물체들도 충돌 이후의 움직임이 서로 일관되어야 합니다. 연구진은 이 원리를 바탕으로 이미지 공간에서 물리 법칙 위반을 직접 측정하는, 카메라 보정 독립적 일관성 점수를 제안했습니다.

8가지 뉴턴 역학 현상

이 벤치마크는 통제된 절차로 촬영한 실제 장면을 사용하며 여러 유형의 운동을 다룹니다.

• 중력과 포물선 운동: 낙하 및 비행 궤적의 관계
• 반발, 마찰, 운동량: 충돌 전후의 운동 변화
• 회전 관성: 회전 물체의 동적 행동
• 진자와 질량-스프링 진동: 주기성과 진동 과정의 일관성

따라서 단순히 물체가 떨어지는지를 보는 데 그치지 않고, 병진 운동, 회전, 충돌, 진동을 폭넓게 평가할 수 있습니다.

결과가 보여 준 한계

연구진은 6개 최신 영상 생성 모델이 만든 수천 개의 결과를 평가했습니다. Principia에서 0.42를 넘은 모델은 하나도 없었지만, 모든 모델은 VBench에서 약 0.8의 점수를 얻었습니다. 이는 일반적인 영상 품질 지표가 외관과 시간적 부드러움은 평가하더라도, 더 깊은 물리적 관계의 오류를 놓칠 수 있음을 보여 줍니다.

비전-언어 모델이 물리 위반을 식별할 수 있는지도 테스트했습니다. 가장 우수한 모델의 정확도는 67%였고, 대다수 모델은 무작위 추측에 가까운 수준이었습니다. 현재 모델은 물리적으로 일관되지 않은 영상을 생성할 뿐 아니라, 그 오류를 안정적으로 찾아내는 데도 어려움을 겪습니다.

의미와 영향

Principia의 핵심 가치는 생성 영상에 맞는 평가 관점을 제시했다는 데 있습니다. 실제 크기나 카메라 정보가 없는 상황에서는 절대값보다 물체 사이의 관계를 검사하는 방식이 더 견고할 수 있습니다. 이러한 지표는 충돌, 회전, 주기 운동에서 반복되는 오류를 찾아내고 영상 생성 모델의 학습을 개선하는 데 활용될 가능성이 있습니다.

물론 이 벤치마크가 현실의 모든 역학 현상을 대표하는 것은 아닙니다. 평가 대상은 특정 물리 현상과 통제된 장면에 한정됩니다. 그럼에도 연구 결과는 영상 모델의 발전을 화면의 사실성만으로 판단해서는 안 된다는 점을 분명히 합니다. 생성된 세계가 내부적으로도 일관적인지가 다음 평가 기준이 될 수 있습니다.

출처: Hugging Face Daily Papers