Self Gradient Forcing: 긴 영상 생성을 위한 메모리 쓰기 학습

도입

긴 영상 생성은 단순히 다음 프레임을 자연스럽게 만드는 문제가 아닙니다. 긴 시간 동안 인물이나 객체의 정체성, 배경과 레이아웃, 움직임의 흐름을 안정적으로 유지해야 합니다. 최근 자기회귀 영상 확산 모델은 Self Forcing을 활용하는 경우가 늘고 있습니다. 이는 학습 시 정답 영상의 과거 문맥만 쓰는 대신, 모델이 직접 rollout으로 만든 과거 이력을 사용해 추론 환경과의 차이를 줄이고 노출 편향을 완화하는 방식입니다.

하지만 이 논문은 Self Forcing에도 중요한 빈틈이 남아 있다고 봅니다. 과거에 생성된 잠재표현은 historical key-value 캐시에 저장되고, 미래 프레임은 이 캐시를 참조합니다. 그러나 미래 프레임의 손실이 과거 잠재표현을 더 유용한 키와 값으로 어떻게 써야 하는지까지 충분히 감독하지 못합니다. 저자들은 이를 historical context-gradient gap, 즉 역사적 컨텍스트 기울기 간극이라고 부릅니다.

핵심 요점

• 메모리는 읽히지만, 쓰기는 충분히 학습되지 않는다. 자기회귀 영상 확산에서 KV 캐시는 인과적 기억 역할을 합니다. 하지만 그것이 얼어붙은 rollout 상태처럼 사용되면, 미래의 오류가 과거 컨텍스트를 어떻게 표현해야 하는지에 대한 학습 신호로 되돌아가기 어렵습니다.
• Self Gradient Forcing(SGF)은 두 단계 학습을 사용한다. 첫 단계에서는 추론과 같은 방식으로 무기울기 자기회귀 rollout을 수행합니다. 그리고 샘플링된 denoising 종료 단계에서 자기 생성 컨텍스트와 모델에 입력된 노이즈 잠재표현을 기록합니다.
• 두 번째 단계에서는 컨텍스트 기울기를 재구성한다. 생성된 컨텍스트는 stop-gradient가 적용된 clean latent 입력으로 사용하고, 모델은 컨텍스트 KV 표현과 미래에서 컨텍스트로 향하는 인과적 attention을 다시 계산합니다. 이를 통해 미래 영상 잠재표현의 손실이 더 효과적인 인과 메모리 인코딩을 학습시킵니다.
• 긴 직렬 rollout 전체의 역전파를 피한다. SGF는 전체 긴 시퀀스에 대해 비용이 큰 end-to-end 역전파를 수행하는 접근이 아닙니다. 기록된 단계에서 빠진 메모리 쓰기 감독을 복원해 학습 가능성과 장기 일관성 사이의 균형을 노립니다.

의미와 영향

논문 요약에 따르면 SGF는 다양한 초기화 조건에서 수행된 긴 시계열 프레임 단위 및 청크 단위 실험에서 Self Forcing보다 강한 원생적 긴 영상 외삽 성능을 보였습니다. 특히 주체 정체성, 배경과 레이아웃 일관성, 시간적 안정성에서 개선이 두드러진다고 설명합니다. 또한 5초 학습 창만으로도 수분 길이 영상까지 외삽할 수 있다고 보고합니다.

이 연구의 의미는 긴 영상 생성을 단순한 프레임 확장 문제가 아니라, 과거 생성 결과를 미래에 유용한 인과 메모리로 어떻게 저장할지의 문제로 재정의했다는 데 있습니다. 자기회귀 영상 모델이 더 긴 출력으로 확장될수록, 역사적 컨텍스트의 품질은 핵심 병목이 됩니다. SGF는 매우 긴 rollout 전체를 역전파하지 않고도 그 메모리 쓰기 능력을 훈련하는 하나의 실용적 경로를 제시합니다.

출처: Hugging Face Daily Papers