FrameMorrow, 미래 정보 수요로 장기 비디오의 과거 프레임을 선택하다

배경

장기 비디오 생성에서는 생성이 진행될수록 참고할 과거가 계속 늘어납니다. 그러나 모든 프레임을 그대로 유지하면 계산 비용이 커지고 중복 정보도 증가합니다. 반대로 과거를 지나치게 압축하면 인물의 정체성, 장면 배치, 나중에 다시 등장할 물체처럼 장기 일관성에 필요한 단서를 잃을 수 있습니다.

FrameMorrow는 현재 장면과의 관련성만으로 과거를 고르는 기존 방식의 한계를 지적합니다. 지금은 중요해 보이지 않는 프레임도 미래의 행동이나 장면 전환 뒤에는 핵심 정보가 될 수 있습니다. 따라서 이 방법은 “현재와 얼마나 비슷한가”보다 “앞으로 필요할 가능성이 있는가”를 기준으로 과거를 선택합니다.

핵심 방식

• 현재 관련성에서 미래 유용성으로: 현재 상태와 가까운 프레임뿐 아니라 다음 생성 단계에서 사용될 가능성이 있는 과거를 찾습니다.
• prospective tokens 활용: 미래에 필요한 정보의 형태를 소수의 토큰으로 예측합니다. 먼 미래 전체를 완성해 생성할 필요는 없습니다.
• 명시적 프레임 검색: 예측된 토큰으로 실제 과거 영상에서 유용한 프레임을 선택합니다. 특정 생성기의 내부 은닉 상태에 의존하지 않는 방식입니다.
• 플러그 앤 플레이 구조: 선택 결과가 프레임 형태이므로 내부 구조에 접근하기 어려운 폐쇄형 모델을 포함해 다양한 비디오 생성기에 연결할 수 있습니다. 초록은 추가 추론 비용도 크지 않다고 설명합니다.

평가와 영향

논문은 5개 벤치마크와 11개 생성 모델에서 실험했다고 밝힙니다. 평가 범위에는 장기 비디오 생성, 대화형 생성, 행동 조건부 월드 모델이 포함됩니다. 제공된 자료에 따르면 FrameMorrow는 여러 설정에서 장기 일관성과 시각 품질을 비교적 일관되게 높였습니다. 다만 현재 제공된 내용에는 구체적인 수치, 기준선별 격차, 세부 절제 실험이 없으므로 각 구성 요소의 기여도를 따로 검증하기는 어렵습니다.

이 연구의 핵심 의미는 비디오 모델의 메모리를 바라보는 관점을 바꾼 데 있습니다. 메모리는 과거를 모두 저장하는 캐시가 아니며, 현재 맥락을 단순히 줄인 요약도 아닙니다. 모델이 나중에 필요로 할 가능성이 있는 정보에 따라 과거를 동적으로 선택하는 과정입니다. 서사형 비디오에서는 인물과 환경의 장기 특성을 유지하는 데, 대화형 생성에서는 사용자 행동 뒤 필요한 이전 상태를 복원하는 데, 월드 모델에서는 뒤늦은 행동의 결과를 해석하는 데 활용될 가능성이 있습니다.

그러나 미래 정보 수요 자체가 예측이므로 잘못 예측하면 중요한 프레임이 제외될 수 있습니다. 여러 가능한 미래를 함께 고려하는 방법과 예측 불확실성을 처리하는 방식은 후속 연구 과제로 남습니다.

출처: Hugging Face Daily Papers