PhysEvolve, 실행 가능한 세계에서 비전언어 모델의 물리 추론을 진화시키다

들어가며

비전언어 모델은 영상 속 물체와 동작을 설명할 수 있지만, 그것이 물리적 인과관계를 이해한다는 뜻은 아닙니다. 특정 물체를 제거하면 어떤 일이 일어나는지, 접촉이 다음 움직임을 어떻게 바꾸는지 답하려면 장면 인식 이상의 능력이 필요합니다. 모델은 힘, 운동, 물체 간 상호작용, 그리고 개입에 따른 결과를 함께 추론해야 합니다. PhysEvolve는 실행 가능한 시뮬레이션 세계 안에서 모델이 스스로 학습 문제를 만들고, 물리 엔진으로 결과를 검증하는 방식을 제안합니다.

핵심 작동 방식

• 사실과 반사실을 쌍으로 생성한다. 관찰 영상은 대체로 실제로 발생한 하나의 궤적만 보여줍니다. PhysEvolve는 동일한 환경에서 기준 분기와 특정 물체를 제거한 반사실적 분기를 각각 시뮬레이션해 조건 변화에 따른 차이를 만듭니다.
• 모델은 제안하고 엔진은 검증한다. 각 라운드에서 공유 비전언어 모델이 실행 가능한 세계 프로그램과 증거 스키마를 생성합니다. 결정론적 물리 엔진은 프로그램을 점검하고 유효한 세계를 고정한 뒤 필요한 시뮬레이션을 실행합니다. 따라서 정답을 모델의 자기평가에만 맡기지 않습니다.
• 시각 과제를 실제 물리 결과에 연결한다. 시뮬레이션된 궤적에서 이산적인 시각 질문을 만들고, 답을 엔진이 계산한 물리 상태에 연결합니다. 과제의 정답 여부를 비교적 정확하게 판정할 수 있어 학습 신호가 명확해집니다.
• 정책과 커리큘럼을 함께 갱신한다. 검증기의 피드백은 GRPO를 통해 공유 정책을 업데이트하고, 물리적 의도에 대한 커리큘럼도 조정합니다. 모델이 취약한 상호작용이나 개입 중심 문제에 더 많은 학습을 배분할 수 있는 구조입니다.

결과와 영향

Qwen3-VL-8B-Instruct를 출발점으로 PhysBench, CausalPhys, ContPhy에서 평가한 결과, PhysBench Throwing은 8.8포인트 향상되었습니다. ContPhy에서는 Counterfactual Removal이 7.4포인트, Goal-Pit이 24.4포인트 개선되었습니다. 성능 향상은 단순한 장면 인식보다 물체 상호작용을 이해하거나 세계의 조건이 바뀐 상황을 추론해야 하는 문제에 집중되었습니다.

논문은 학습한 인과 원리가 천, 유체, 소프트 바디처럼 보지 못한 복잡한 동역학과 실제 세계 영상으로 제로샷 전이된 결과도 보고합니다. 이는 모든 개입 영상을 사람이 수집하고 주석 처리하지 않아도, 시뮬레이터에서 통제된 대안 결과를 만들고 정확한 검증을 학습 신호로 활용할 수 있음을 시사합니다.

다만 성능은 물리 엔진이 다룰 수 있는 범위, 시뮬레이션과 현실의 차이, 모델이 생성하는 세계 프로그램의 품질에 영향을 받습니다. 따라서 PhysEvolve를 실제 데이터를 완전히 대체하는 방법으로 보기보다는, ‘가설 제안—실행—검증—정책 갱신’의 폐쇄 루프를 물리 추론 학습에 도입한 연구로 이해하는 편이 적절합니다. 이 구조는 향후 세계 모델과 체화형 에이전트의 학습 기반으로 활용될 가능성이 있습니다.

출처: Hugging Face Daily Papers