확산 모델은 노이즈에서 이미지를 생성하기 위해 보통 네트워크를 여러 차례 평가합니다. 증류는 이 반복 과정을 적은 단계로 압축하는 방법이지만, 생성 속도가 빨라져도 교사 모델이 가진 출력의 폭까지 보존되는 것은 아닙니다. Posterior Matching Distillation(PMD)은 생성 효율과 조건부 분포의 재현을 함께 다루려는 접근입니다.
우세한 모드만 따르지 않도록
논문은 역 KL 기반 분포 증류가 모드 선택적으로 작동할 수 있다고 설명합니다. 이 편향은 학생이 교사 분포의 지배적인 모드에 집중하고, 상대적으로 덜 흔한 결과를 충분히 표현하지 못하게 할 수 있습니다. PMD는 특정 노이즈 상태가 주어졌을 때 가능한 깨끗한 이미지의 사후 분포를 학생이 학습하도록 설계됐습니다.
구체적으로 학생은 고정된 노이즈 상태를 조건으로 샘플을 생성하고, 그 샘플에 지수 가중치를 적용해 평균을 구합니다. 그런 다음 이 평균을 교사의 해당 사후 평균과 맞춥니다. 가우시안 노이즈에서는 지수적으로 기울어진 사후 평균을 입력을 이동한 위치에서 교사 모델을 한 번 평가해 얻을 수 있다고 합니다. 또한 논문은 열린 근방에서 이런 기울어진 평균들을 맞추면 전체 사후 분포가 유일하게 정해진다는 점을 증명합니다. 따라서 별도의 학생 점수 네트워크 없이도 여러 평균 제약으로 조건부 분포를 감독할 수 있습니다.
기대하는 기능과 평가
- 사후 분포 복원: 모집단 손실이 0인 이상적인 조건에서 각 학습 노이즈 수준의 교사 이미지 사후 분포를 복원합니다.
- 유연한 샘플링 단계: 확률적 학생 모델은 학습된 시간 단계 격자 안에서 샘플링 예산을 달리할 수 있으며, 예산마다 추가 학습이 필요하지 않습니다.
- 보고된 실험: 초록은 SDXL과 FLUX.2 [klein] 4B에서 실험했으며, 두 모델 모두에서 4단계 방법 중 최고 FID를 달성했다고 주장합니다.
의의와 확인할 부분
PMD의 핵심은 단일 예측값을 맞추는 대신, 조건부 분포를 일련의 제약으로 복원하려 한다는 점입니다. 이 접근이 다른 설정에서도 검증된다면, 소수 단계 생성에서 다양성을 보존하면서 계산 예산에 맞춰 샘플링을 조정하는 데 도움이 될 수 있습니다. 다만 제공된 초록은 실험 결과 설명 도중 잘려 있어 비교 조건과 전체 세부 사항을 확인하기 어렵습니다.
수치 해석에도 주의가 필요합니다. Hugging Face 논문 페이지의 한 댓글은 FLUX.2의 COCO-10k FID가 한 표에는 17.47, 다른 표의 PMD 결과에는 24.12로 적혀 있다고 지적합니다. 댓글 작성자는 두 항목의 다양성 점수가 같다고도 언급하지만, 이는 페이지에서 제기된 불일치이며 원인이 확인된 것은 아닙니다. 논문 원표나 저자의 설명으로 해소되기 전까지는 FLUX.2의 구체적인 FID 순위를 확정적으로 받아들이기보다 신중하게 해석할 필요가 있습니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…