ODEWorld: 세계 모델을 연속 시간 잠재 동역학으로 재구성하다

들어가며

세계 모델은 현재 상태를 바탕으로 앞으로 어떤 일이 일어날지 예측하는 모델입니다. 기존 접근의 상당수는 이 문제를 이산 시간 예측으로 다룹니다. 즉, 현재 프레임에서 다음 프레임을 예측하거나, 정해진 시간 간격마다 잠재 상태를 갱신하는 방식입니다. 하지만 실제 물리 세계의 움직임과 상호작용은 프레임 단위로 끊겨 일어나지 않고, 연속적인 시간 속에서 변화합니다.

ODEWorld는 이 차이에 주목합니다. 이 모델은 단순히 한 시점에서 다음 시점으로 넘어가는 전이 함수를 학습하는 대신, 잠재 공간 안에서 상태가 물리 시간에 따라 어떻게 흐르는지를 학습합니다.

핵심 내용

• Physical-Time Flow 기반 접근: 논문은 PT-Flow라는 방법을 제안합니다. 이는 물리 시간에서 작동하는 연속 잠재 속도장을 학습하며, 미래 예측을 ODE 솔버를 통한 시간 적분 문제로 바꿉니다.

• 잠재 공간의 ODE 동역학: 순차 데이터의 기본 동역학은 구조화된 표현 공간 안의 상미분방정식으로 매개변수화됩니다. 덕분에 모델은 데이터의 고정 프레임률이나 샘플링 간격에만 묶이지 않고 다양한 시간 간격에서 상태를 추정할 수 있습니다.

• 표현 붕괴 완화: 잠재 세계 모델에서는 압축된 표현이 장기 예측에 필요한 세부 정보를 잃어 이미지 재구성 품질이 떨어지는 문제가 자주 발생합니다. ODEWorld는 시간에 따라 변하는 특징을 추출하고, 동적 표현 공간과 잠재 속도장에 ODE 관련 성질을 부여해 이 문제를 줄이려 합니다.

• 임의 시간 해상도와 역방향 예측: 연속 시간 모델이기 때문에 임의의 시각에서 상태를 조회할 수 있으며, 시간의 반대 방향으로 적분하는 것도 가능합니다. 이는 대부분의 이산 시간 세계 모델에서는 자연스럽게 제공되기 어려운 기능입니다.

• 계획 지향 정보 제공: ODEWorld는 단순한 비디오 예측 모델로만 제시되지 않습니다. 학습된 동역학이 하위 정책 학습에 유용한 정보를 제공할 수 있다는 점에서 로봇 계획과 제어에도 연결됩니다.

의미와 영향

ODEWorld의 핵심 의미는 세계 모델을 “다음 프레임을 맞히는 모델”에서 “시간의 흐름을 학습하는 모델”로 확장했다는 데 있습니다. 로봇과 체화 AI에서는 센서 입력, 제어 주기, 환경 변화가 항상 같은 시간 간격으로 정렬되지 않습니다. 연속 시간 잠재 모델이 안정적으로 작동한다면, 서로 다른 시간 스케일을 넘나드는 예측과 계획에 더 유연한 인터페이스를 제공할 수 있습니다.

물론 남은 과제도 있습니다. 잠재 공간이 복잡한 물리 현상을 충분히 보존할 수 있는지, ODE 솔버 사용에 따른 계산 비용을 어떻게 조절할지, 접촉·가림·다중 가능한 미래가 포함된 상황에서 얼마나 견고한지는 추가 검증이 필요합니다. 제공된 자료에 따르면 ODEWorld는 비디오 생성과 로봇 제어 실험에서 가능성을 보였습니다. 더 큰 시사점은 세계 모델이 고정된 프레임 외삽을 넘어, 물리 시간 자체를 학습 대상으로 삼을 수 있다는 점입니다.

출처: Hugging Face Daily Papers