PDD: 병렬 디코딩 증류로 이미지·비디오 생성을 빠르게

도입

확산 모델과 플로 매칭 모델은 이미지와 비디오 생성에서 핵심적인 역할을 하고 있다. 하지만 이들 모델은 보통 여러 번의 반복 샘플링을 거쳐 결과를 만든다. 이미지 생성에서는 지연 시간이 늘어나는 문제가 되고, 비디오 생성에서는 프레임 수와 시간적 일관성, 움직임 표현까지 고려해야 하므로 계산 비용이 더 크게 증가한다.

논문 “Parallel Decoding Distillation for Fast Image and Video Generation”은 이 문제를 해결하기 위해 PDD, 즉 Parallel Decoding Distillation을 제안한다. 핵심 목표는 기존 사전학습 모델을 그대로 활용하면서도, 훨씬 적은 함수 평가 횟수로 고품질 생성을 가능하게 하는 것이다.

핵심 내용

• NFE 감소에 초점: NFE는 샘플링 과정에서 모델 또는 함수가 평가되는 횟수를 뜻한다. PDD는 4-8 NFE처럼 매우 적은 평가 횟수에서도 강한 성능을 내는 것을 목표로 한다.
• 여러 노이즈 제거 단계를 한 번에 예측: 일반적인 샘플러는 단계별로 노이즈를 제거한다. PDD는 한 번의 네트워크 평가에서 여러 denoising 단계를 예측해 직렬적인 샘플링 과정을 줄인다.
• 더 단순한 증류 방식: 기존의 최첨단 가속 방법은 Variational Score Distillation이나 적대적 손실에 크게 의존하는 경우가 많다. 이런 방식은 품질 면에서 강점이 있지만, 최적화가 어렵고 모드 붕괴로 인해 비디오 다양성과 움직임이 줄어들 수 있다. PDD는 궤적 기반 증류를 통해 더 단순하고 확장 가능한 접근을 제시한다.
• 사전학습 모델과의 호환성: 논문에 따르면 PDD의 구조와 학습 절차는 임의의 사전학습 모델과 호환되며, 다양한 NFE 설정의 샘플링을 지원한다.
• 평균 속도 표현 학습: 개념적으로 PDD는 평균 속도의 표현을 학습한다. JVP나 유한 차분 근사로 도함수를 직접 회귀하지 않는다는 점도 특징이다.

의미와 영향

생성 모델의 실제 활용에서는 품질만큼 속도도 중요하다. 특히 비디오 생성은 결과가 좋아도 샘플링이 너무 느리면 창작 도구, 실시간에 가까운 워크플로, 대규모 서비스에 적용하기 어렵다. PDD는 이 지점을 겨냥해, 모델을 완전히 새로 만드는 대신 샘플링 궤적을 더 효율적으로 만드는 전략을 택한다.

비디오 다양성 개선이라는 주장도 주목할 만하다. 소수 단계 증류는 종종 생성 분포를 좁혀 비슷한 결과를 반복하거나 움직임이 약한 영상을 만들 수 있다. PDD가 가속과 다양성을 함께 확보할 수 있다면, 텍스트-투-비디오와 텍스트-투-이미지 모두에서 실용적인 의미가 크다.

논문은 LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, Qwen-Image Text-to-Image에서 4-8 NFE 기준 최첨단 성능을 달성했다고 보고한다. 이는 PDD가 특정 모델만을 위한 세부 최적화가 아니라, 여러 사전학습 생성 모델에 적용 가능한 증류 전략으로 제안되고 있음을 보여준다.

앞으로는 공개 평가와 독립적인 재현 결과가 중요하다. 그럼에도 PDD는 생성 모델의 다음 경쟁 축이 단순히 더 큰 모델이 아니라, 이미 강력한 모델을 더 빠르고 안정적으로 사용하는 방법이라는 점을 잘 보여준다.

출처: Hugging Face Daily Papers