Wave Forcing: 장편 영상 생성을 연속 스트리밍으로 바꾸는 방법

실시간 장편 영상 생성은 개별 프레임을 빠르게 만드는 문제만이 아닙니다. 긴 시간 동안 인물과 사물의 외형을 유지하고, 자연스러운 움직임을 이어 가며, 결과를 지속적으로 출력해야 합니다. 기존의 청크 단위 자기회귀 방식은 대체로 한 청크의 디노이징을 끝낸 뒤 히스토리 캐시를 갱신하고 다음 청크로 넘어갑니다. 이 구조는 처리 과정을 직렬화하고, 긴 롤아웃에서 화질 저하나 카메라 드리프트를 유발할 수 있습니다.

Wave Forcing（WF）은 생성 방식, 학습 방식, 실행 시스템을 함께 설계해 이 병목을 줄이려 합니다. 핵심 아이디어는 ‘웨이브프런트 스케줄링’입니다. 앞선 청크가 모든 디노이징 단계를 마칠 때까지 기다리지 않고, 뒤의 청크가 먼저 디노이징을 시작하도록 합니다. 이때 앞선 계산에서 얻은 더 깨끗한 중간 상태를 문맥으로 사용합니다. 청크 단위 인과 어텐션은 시간 방향의 제약을 유지하면서 아직 처리 중인 이전 정보를 활용할 수 있게 합니다.

실행 단계에서는 서로 다른 시점의 디노이징과 캐시 갱신을 여러 개의 완전한 모델 복제본에 분산합니다. 파이프라인이 채워진 뒤에는 병렬 포워드 한 라운드마다 영상 청크 하나를 출력합니다. 논문은 이를 1F1C, 즉 ‘한 번의 포워드로 한 청크’라고 부릅니다. 완전한 직렬 처리 대신 계속 작동하는 파이프라인을 구성해 청크 처리 간 대기 시간을 줄이는 방식입니다.

Wave Runtime（WaveRT）은 이 실행 흐름을 시스템 수준에서 지원합니다. Wave Parallelism은 키·밸류 상태를 실제 사용 시점보다 먼저 전달하고, 통신과 계산을 겹쳐 수행합니다. 최적화된 커널은 연산 오버헤드를 낮추며, VAE 디코딩도 파이프라인화해 영상 복원 단계가 새로운 병목이 되는 것을 막습니다. 즉, 모델 계산뿐 아니라 컨텍스트 전달과 디코딩까지 하나의 스트리밍 작업으로 다룹니다.

추론 과정에 맞추기 위해 학습도 세 단계로 진행됩니다. 먼저 혼합 노이즈 디노이징을 도입해 선명도가 서로 다른 히스토리 청크를 처리하도록 합니다. 다음으로 움직임 감독을 추가해 정적인 외형뿐 아니라 시간적 동작을 개선합니다. 마지막으로 모델이 직접 생성한 히스토리를 사용해 인과 적응을 수행합니다. 이를 통해 이상적으로 깨끗한 학습 문맥과 실제 연속 생성에서 발생하는 불완전한 문맥 사이의 차이를 줄입니다.

Wan2.1-T2V-1.3B 실험에서 5단계 WF는 Rolling Forcing과 비슷한 종합 품질을 유지하면서 짧은 영상과 긴 영상 모두에서 더 높은 Dynamic Degree를 보였습니다. 100초 영상 평가에서 Dynamic Degree는 36.63에서 91.45로, Subject Preservation은 92.75에서 97.10으로 상승했습니다. 시스템 실험에서 4단계 버전은 H200 8개에서 147.6 DiT FPS와 134.8 엔드투엔드 FPS를 달성했으며, 단일 GPU 엔드투엔드 처리량의 7.07배에 해당합니다. 동일한 백엔드와 디노이징 단계, GPU 수를 맞춘 DiT 실험에서는 Wave Parallelism이 더 빠른 Ulysses 또는 Ring 기준선보다 최대 2.53배 높은 처리량을 기록했습니다.

이 연구의 의미는 영상 생성 가속화를 단순히 샘플링 단계나 모델 크기를 줄이는 문제로 보지 않았다는 데 있습니다. 청크를 언제 생성할지, 중간 상태를 어떻게 전달할지, 계산을 어떻게 나눌지를 함께 재설계했습니다. 다만 결과는 특정 모델과 하드웨어 환경에 기반하므로 모델 규모, 해상도, 디코딩 비용에 따라 실제 효과는 달라질 수 있습니다. 그럼에도 Wave Forcing은 장편 영상의 연속 스트리밍을 위해 알고리즘과 시스템을 공동 최적화하는 방향을 보여 줍니다.

출처: Hugging Face Daily Papers