Speculative Sampling, 저지연 인터랙티브 영상 생성의 새로운 방식

들어가며

인터랙티브 영상 생성은 서로 충돌하는 두 가지 요구를 동시에 만족해야 합니다. 사용자는 새로운 입력에 즉시 반응하는 영상을 원하지만, 모델은 더 넓은 시간적 문맥을 봐야 움직임과 장면을 안정적으로 생성할 수 있습니다. 기존 스트리밍 시스템은 응답 시간을 줄이기 위해 작은 양방향 청크를 사용하는 경우가 많습니다. 그러나 청크가 작아지면 모델이 활용할 수 있는 문맥이 줄고, GPU 병렬 처리의 장점도 충분히 살리기 어려워집니다.

논문 「Speculative Sampling in Interactive Video Generation」은 이 문제를 추가 학습 없이 해결하기 위한 서빙 방식을 제안합니다. 핵심은 큰 양방향 윈도우에서 예측하되, 사용자에게는 작은 단위로 결과를 나누어 전달하는 것입니다.

핵심 작동 방식

• 노이즈 잠재 변수로 윈도우를 확장합니다. 현재 생성해야 하는 영역 뒤에 노이즈 잠재 변수를 패딩처럼 추가합니다. 이를 통해 모델은 더 긴 구간을 한 번에 양방향으로 처리하고 예측할 수 있습니다.
• 예측 결과를 캐시합니다. 사용자 조건이 바뀌지 않는 동안에는 큰 윈도우에서 얻은 예측 중 유효한 부분을 저장합니다. 이후 단계에서 전체 계산을 반복하지 않고 저장된 결과를 재사용할 수 있습니다.
• 확정된 내용부터 전달합니다. 모든 미래 프레임이 완성될 때까지 기다리는 대신, 이미 사용할 수 있는 부분을 먼저 표시합니다. 아직 커밋되지 않은 미래는 새로운 조건에 맞춰 교체할 수 있습니다.
• 청크 축소 대신 샘플링 실행을 최적화합니다. 청크 경계 때문에 다음 결과를 기다려야 하는 하한을 줄이고, 청크를 무조건 작게 만드는 것보다 선택한 윈도우의 샘플링 속도를 높이는 데 초점을 둡니다.

이 방식이 제시하는 관점은 양방향 윈도우 크기가 더 이상 저지연을 위한 절대적인 제약이 아니라는 것입니다. 윈도우 크기는 화질과 샘플링 시간, GPU 활용도를 함께 고려해 선택하는 서빙 변수로 볼 수 있습니다.

제공된 페이지의 보충 설명에 따르면, 이 방법은 Self-Forcing과 같은 자기회귀형 추가 학습 없이 양방향 MiniMax H3를 인터랙티브하게 사용할 수 있도록 합니다. 모델이 한 번에 5초 분량의 영상을 공동 샘플링하는 설정에서, 새로운 사용자 입력부터 그 입력에 반응하는 첫 영상 프레임이 표시될 때까지 약 1.4초의 엔드투엔드 지연 시간이 보고됐습니다. 다만 이 수치의 세부 실험 조건과 비교 기준은 논문 본문을 통해 확인해야 합니다.

의미와 한계

이 연구의 주요 기여는 새로운 학습 목표가 아니라 추론과 전달 순서를 재설계한 데 있습니다. 서버는 큰 윈도우로 병렬 예측을 수행하고, 결과를 캐시한 뒤 확정된 콘텐츠만 단계적으로 공개할 수 있습니다. 따라서 모델이 내부적으로 참고하는 범위와 사용자가 첫 응답을 기다리는 시간을 분리할 수 있습니다.

이 아이디어는 인터랙티브 영상 생성, 비디오 월드 모델 등 사용자 조건이 자주 변하는 시스템에 적용될 가능성이 있습니다. 추가 학습이 필요하지 않다는 점도 기존 시스템에 통합할 때 장점이 될 수 있습니다. 반면 조건 변경 빈도, 캐시 메모리 사용량, 윈도우 크기, 오래된 예측을 다시 계산하는 비용에 따라 효과는 달라집니다. 제공된 자료에는 화질, 처리량, 메모리 사용량에 대한 종합적인 비교가 없으므로 모든 환경에서 작은 윈도우 방식보다 우수하다고 단정할 수는 없습니다.

결국 Speculative Sampling은 인터랙티브 영상 생성의 목표를 “윈도우를 가능한 한 작게 만들기”에서 “큰 윈도우를 효율적으로 샘플링하고 결과를 일찍 전달하기”로 전환합니다. 이는 모델 품질과 사용자 체감 지연을 함께 최적화하려는 서빙 설계의 한 방향을 보여줍니다.

출처: Hugging Face Daily Papers