Apple-PI: 영상 생성 모델의 물리 추론을 평가하는 새 벤치마크

Orchard: 고전역학의 대표 과제 10개를 포함한 400개 영상 데이터셋
3단계 프로토콜: Perception(지각) , Formulation(정식화) , Deduction(추론)
평가 스위트: MLLM 기반 주관 평가와 물리 법칙 기반 객관 지표를 결합한 방식

2026년 7월 21일약 2분 소요

영상 생성 모델은 자주 ‘월드 모델’로 불리지만, 보기 자연스러운 결과를 내는 것과 물리 법칙을 이해하는 것은 같은 의미가 아니다. Apple-PI는 바로 이 차이를 측정하기 위해 제안된 벤치마크다.

Apple-PI의 구성

이 벤치마크는 세 부분으로 이루어진다.

또한 정보가 표시된 첫 프레임을 바탕으로 chain-of-frames prompting을 사용하고, 생성된 영상을 모델의 ‘보이는 추론 흔적’으로 간주한다. 덕분에 단순히 실패 여부뿐 아니라, 어디에서 실패했는지도 단계별로 진단할 수 있다.

Apple-PI의 핵심은 출력의 그럴듯함이 아니라 추론의 충실도를 본다는 점이다. 특히 단일 물리 법칙 과제와 다중 물리 법칙 과제를 나눠서 설계했기 때문에, 혼란 요인이 적은 진단과 일반화 능력 검증을 함께 할 수 있다.

11개 모델을 평가한 결과, 현재 시스템은 여전히 신뢰할 수 있는 법칙 기반 세계 시뮬레이터와는 거리가 있었다. 가장 좋은 영상 모델의 점수도 0.473에 그쳤다. 분석에서는 다음과 같은 문제도 드러났다.

Apple-PI의 가장 큰 가치는 진단 가능성이다. 모델이 장면을 제대로 보지 못하는지, 법칙을 잘못 표현하는지, 혹은 끝까지 추론을 이어가지 못하는지를 구분해 보여준다. 이런 분석은 향후 영상 모델, 월드 모델, 체화 AI 시스템을 개선하는 데 중요한 기준이 된다.

앞으로 영상 모델이 진정한 물리 시뮬레이터가 되려면, 결과가 그럴듯한지보다 법칙에 맞게 추론했는지가 더 중요해질 것이다. Apple-PI는 그 방향을 제시하는 출발점이다.