소니 SPA, 스펙트럼 사전분포로 확산 모델의 노출 편향 줄인다

도입

확산 모델은 노이즈가 섞인 상태를 여러 단계에 걸쳐 점진적으로 정제하면서 이미지를 생성한다. 이 반복 샘플링 방식은 강력하지만, 한 단계의 작은 오차가 이후 단계에 누적될 수 있다는 문제가 있다. 훈련 시에는 통제된 노이즈 분포를 보지만, 추론 시에는 모델 자신의 이전 예측이 만든 궤적을 따라가야 한다. 이런 훈련과 추론의 불일치는 흔히 exposure bias로 불린다.

소니 연구진의 논문 Spectral Prior for Reducing Exposure Bias in Diffusion Models 는 이 문제를 주파수 영역에서 다시 바라본다. 저자들은 훈련과 추론 사이의 차이가 단순한 전체 오차가 아니라, 주파수별로 다르게 나타나는 체계적인 불일치라고 설명한다. 이는 주파수 의존적인 SNR 오차로 해석할 수 있다.

핵심 내용

• 오차는 주파수 구조를 가진다: 샘플링 중간 예측은 모든 주파수 대역에서 동일하게 벗어나는 것이 아니다. 저주파, 중간 주파수, 고주파에서 서로 다른 형태의 편차가 나타날 수 있다.
• 고정 보정 규칙은 한계가 있다: 논문의 중요한 관찰은 불일치의 방향이 모델과 시간 단계에 따라 달라진다는 점이다. 따라서 특정 주파수 대역을 항상 강화하거나 억제하는 식의 단순한 규칙은 다양한 모델에 안정적으로 적용되기 어렵다.
• SPA는 스펙트럼 prior를 사용한다: Spectral Alignment는 먼저 훈련 데이터에서 파라메트릭 스펙트럼 모델을 오프라인으로 적합한다. 이 모델은 추론 중 중간 예측이 참고할 기준 prior 역할을 한다.
• FFT 기반 추론 가이던스: 샘플링 단계에서는 중간 예측의 파워 스펙트럼이 사전 계산된 prior에 가까워지도록 유도한다. 이때 FFT 기반 기울기 계산을 사용해 연산 부담을 낮춘다.
• CFG와 보완적으로 사용 가능: Classifier-Free Guidance는 주로 조건 생성과 프롬프트 정렬을 강화하는 반면, SPA는 스펙트럼 수준의 보정을 목표로 한다. 두 방법은 초점이 다르기 때문에 함께 사용할 수 있다.

의미와 영향

SPA의 장점은 기존 생성 모델을 다시 학습시키지 않고도 추론 과정에 추가할 수 있다는 점이다. 이는 이미 구축된 확산 모델 파이프라인에서 비교적 쉽게 실험해볼 수 있는 방식이라는 뜻이다.

논문은 적용 범위도 넓게 제시한다. DDPM, ADM 같은 픽셀 공간 확산 모델부터 SD2.0, SDXL 같은 잠재 확산 모델, SD3.5와 FLUX 같은 플로 매칭 모델까지 다양한 구조에서 일관된 개선을 보였다고 설명한다. 이는 스펙트럼 수준의 훈련·추론 불일치가 특정 모델 계열에만 국한된 문제가 아닐 수 있음을 시사한다.

다만 제공된 소재만으로는 세부 실험 조건이나 상황별 효과를 모두 판단하기 어렵다. 해상도, 샘플러, 프롬프트 조건, 구현 방식에 따라 실제 효용은 달라질 수 있다. 그럼에도 SPA는 확산 모델의 exposure bias를 다루는 흥미로운 접근이다. 모델 자체를 바꾸기보다 샘플링 궤적의 스펙트럼을 훈련 데이터의 prior에 맞추려는 방식이기 때문이다.

출처: Hugging Face Daily Papers