PhiZero: ‘물리 언어’로 세계 모델을 다시 설계하다

도입

세계 모델은 비디오 생성, 체화 AI, 인터랙티브 시뮬레이션에서 점점 더 중요한 연구 주제가 되고 있다. 핵심은 단순히 그럴듯한 프레임을 만드는 것이 아니라, 시간이 흐르며 세계가 어떻게 변하는지를 물리적으로 일관되게 예측하는 것이다. PhiZero: A World Model Built Around Physical Language 는 이 문제를 해결하기 위해 ‘물리 언어’라는 중간 표현을 중심에 둔다.

PhiZero는 미래 영상을 고차원 픽셀로 직접 예측하지 않는다. 먼저 미래의 세계 상태 전이를 물리 언어 시퀀스로 추론하고, 그다음 이 전이를 영상으로 렌더링한다. 논문은 이를 reason-then-render 패러다임으로 설명한다.

핵심 포인트

• 픽셀 예측에서 상태 전이 표현으로: 기존 물리 세계 모델은 대체로 미래 비디오를 직접 생성하며, 그 안의 동역학은 시각 예측기 내부에 암묵적으로 남아 있다. PhiZero는 세계 상태 변화 자체를 더 간결한 이산 표현으로 모델링하려 한다.
• 물리 언어는 일반 문장이 아니다: 여기서 말하는 언어는 사람이 쓴 자연어 설명이 아니라, 영상 속 물리적 변화를 조직하기 위해 학습된 표현에 가깝다. 논문에 따르면 이 표현은 야생 동영상에서 자기지도 학습으로 얻어진다.
• 먼저 추론하고 나중에 렌더링: 모델은 미래 화면을 곧바로 만들기보다, 먼저 물리 언어 시퀀스를 생성한다. 이후 이 시퀀스를 바탕으로 비디오를 렌더링한다. 이 구조는 세계가 어떻게 진화하는지에 대한 부분을 더 명시적으로 만든다.
• 생성과 이해를 모두 겨냥: 논문 요약은 PhiZero가 생성 및 이해 벤치마크에서 물리적으로 일관된 세계 진화를 모델링하는 능력을 검증했다고 설명한다. 또한 현실적이고 상호작용적인 세계 모델링, 세밀한 행동 조건 시뮬레이션, 제로샷 모션 전이에 대한 잠재력도 언급한다.

의미와 영향

PhiZero의 중요한 점은 비디오 예측 모델 내부에 숨겨진 동역학을 중간 표현으로 드러내려 한다는 데 있다. 최종 픽셀만 맞히는 모델은 시각적으로는 자연스러워 보여도 원인과 결과, 시간적 연속성에서 약점을 보일 수 있다. 반면 상태 전이를 별도로 표현하면 물리적 일관성을 다루는 데 유리할 수 있다.

이 접근은 비디오 생성뿐 아니라 로보틱스와 체화 AI에도 의미가 있다. 에이전트의 행동이 환경을 어떻게 바꾸는지 명시적으로 표현할 수 있다면, 계획과 제어에 필요한 내부 모델에 더 가까워질 수 있기 때문이다.

다만 제공된 요약만으로는 장기 예측, 복잡한 다중 객체 상호작용, 강한 상호작용 환경에서 PhiZero가 얼마나 안정적인지 판단하기 어렵다. 구체적인 성능 수치와 실패 사례는 논문 본문을 통해 확인해야 한다. 그럼에도 PhiZero는 세계 모델을 단순한 픽셀 예측 문제로만 보지 않고, 추상적인 물리 언어를 통해 추론하는 대안을 제시했다는 점에서 주목할 만하다.

앞으로 이 방향이 발전한다면, 비디오 모델과 체화 AI 시스템은 최종 영상 생성뿐 아니라 그 이전 단계의 명시적 물리 추론을 더 중요하게 다루게 될 가능성이 있다.

출처: Hugging Face Daily Papers