자기회귀 비디오 모델에 ‘앞을 내다보기’를 가르치는 FCP

배경

자기회귀 비디오 확산 모델은 비디오를 여러 청크로 나누고, 지금까지의 내용을 바탕으로 다음 청크를 순차적으로 생성합니다. 이 구조는 긴 영상을 이어 만드는 데 유리하지만, 화면이 자연스럽게 연결된다고 해서 모델이 장면의 변화를 이해한다고 보기는 어렵습니다. Tencent ARC의 논문 Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation은 바로 이 문제를 다룹니다.

인접 프레임 의존성의 한계

교사 강제 학습에서는 현재 청크를 디노이징할 때 실제 과거 시각 맥락이 제공됩니다. 비디오의 인접 프레임은 색상, 질감, 배경, 국소적인 움직임이 크게 겹치므로, 모델은 장면이 어떻게 발전하는지 추론하지 않고도 이전 화면의 패턴을 연장해 일정한 성능을 낼 수 있습니다.

이런 지름길은 긴 시간 범위의 예측에 약점이 될 수 있습니다. 물체가 계속 움직일지, 멈출지, 충돌할지, 상태를 바꿀지 판단하지 않고 직전 화면을 복사하듯 이어 가면, 짧은 구간에서는 부드러워 보여도 시간이 지날수록 물리적 모순이 누적될 수 있습니다.

Future Chunk Prediction

Future Chunk Prediction, 즉 FCP는 기존 교사 강제 디노이징에 추가하는 보조 학습 목표입니다. 모델은 현재 청크를 처리하는 동시에 시간적으로 더 멀리 떨어진 미래 청크도 예측합니다. 이때 관측된 맥락과 목표 청크 사이에 있는 중간 비디오 청크는 직접 제공되지 않습니다. 따라서 모델은 가까운 프레임의 표면적 유사성보다 장면의 가능한 진행 방향을 추론해야 합니다.

FCP의 주요 특성은 다음과 같습니다.

• 추가 사전학습 시각 인코더가 필요하지 않음: 학습 비디오에서 직접 감독 신호를 얻습니다.
• 기존 목표와 함께 최적화: 원래의 디노이징 학습을 대체하지 않고 보완합니다.
• 추론 과정은 그대로 유지: 생성 시 별도의 예측 단계를 추가하지 않습니다.
• 장거리 시간 정보를 강조: 외형의 연속성뿐 아니라 움직임과 상태 변화의 표현을 유도합니다.

결과와 한계

프로젝트 자료에 따르면 Physics-IQ에서 물리적 개연성이 개선됐으며, I2V에서는 11.2%, V2V에서는 9.4%의 향상이 보고됐습니다. 또한 해당 비교에서 학습 계산량은 57.9%, 사용 데이터량은 63.4% 감소했다고 제시됩니다. 이는 미래 청크를 대상으로 한 감독이 품질뿐 아니라 학습 효율에도 기여할 수 있음을 보여줍니다.

논문의 시각화는 FCP가 더 구조화된 표현 공간을 형성할 가능성도 시사합니다. 다만 이는 분석 결과이며, 모델이 이미 완전한 물리 세계 모델을 갖췄다는 의미는 아닙니다. 연구진은 현재 학습 데이터가 일반적인 장면에 주로 집중되어 있고, 다양한 물리 현상에 대한 커버리지가 제한적이라고 설명합니다. 전문적인 물리 시나리오에서의 성능은 여전히 추가 검증이 필요합니다.

의미와 영향

FCP가 제시하는 핵심 관점은 시간적 일관성을 단순히 “이전 프레임과 비슷한 것”으로 보지 않는다는 점입니다. 좋은 비디오 연속 생성은 화면이 이어지는 것뿐 아니라 장면의 상태가 다음 순간에 어떻게 변할지와도 맞아야 합니다. 학습 중 미래 청크 예측을 추가하면서도 추론 구조를 복잡하게 만들지 않는다는 점에서, FCP는 자기회귀 비디오 모델을 세계 모델 방향으로 발전시키는 비교적 간결한 접근입니다.

앞으로는 물리 현상을 더 폭넓게 포함한 데이터, 더 긴 시간 간격의 예측, 동역학 중심 평가가 중요할 것입니다. 이러한 요소가 보강된다면 비디오 생성 모델은 그럴듯한 화면을 만드는 수준에서 벗어나, 장면과 세계가 어떻게 전개되는지 예측하는 방향으로 나아갈 수 있습니다.

출처: Hugging Face Daily Papers