DiFA: 확산 모델 추론을 전방 과정에 맞춘 상태 추정으로 재해석

도입

확산 모델의 샘플링은 보통 수치 적분 문제로 설명됩니다. 각 단계에서 모델이 노이즈 또는 데이터 예측을 내놓고, 샘플러는 이를 이용해 역방향 궤적을 따라 다음 상태로 이동합니다. DiFA: Inference-Time Forward-Process Alignment for Diffusion Models는 이 관점이 디노이징 과정의 불확실성을 충분히 반영하지 못한다고 봅니다. 추론 과정에서 반복적으로 나오는 데이터 예측은 서로 독립적인 임시 결과가 아니라, 같은 최종 샘플을 바라보는 상관된 관측으로 활용될 수 있다는 것입니다.

핵심 내용

• 추론을 순차적 상태 추정으로 재구성: DiFA는 확산 모델의 추론 시 데이터 예측 보정을 단순한 ODE/SDE 적분이 아니라 상태 추정 문제로 다룹니다.
• 과거 예측을 관측으로 활용: 역방향 경로에서 생성된 여러 데이터 예측을 인과적 히스토리 버퍼에 저장하고, 이를 상관된 관측 집합으로 해석합니다.
• 전방 확산 과정과의 정렬: DiFA는 전방 확산 과정의 통계 구조와 맞물리는 temporal consensus anchor를 만들어, 특히 적은 샘플링 스텝에서 발생할 수 있는 오류 누적을 줄이려 합니다.
• Kalman filtering에서 영감을 받은 통합: 과거 예측은 단순 평균이 아니라 구조적 일관성과 노이즈 수준의 호환성을 기준으로 결합됩니다.
• 세부 묘사를 위한 deviation guidance: 시간적 합의는 안정성을 높이지만 이미지를 지나치게 매끄럽게 만들 수 있습니다. DiFA는 이를 완화하기 위해 잔여 디테일을 적응적으로 보존하는 deviation guidance를 추가합니다.

의미와 영향

DiFA의 실용적인 장점은 재학습이 필요 없다는 점입니다. 모델 자체를 다시 훈련하지 않고, 추론 단계에서 이미 생성되는 예측을 더 체계적으로 해석하고 결합합니다. 따라서 다양한 샘플러와 아키텍처에 적용 가능한 보조적 추론 전략으로 볼 수 있습니다.

제공된 자료에 따르면 DiFA는 CIFAR-10과 ImageNet에서 FID, IS, FD-DINOv2 등 여러 지표를 개선했으며, 픽셀 공간과 잠재 공간 모두에서 샘플링 안정성과 미세 텍스처 표현을 강화하는 것으로 설명됩니다. 다만 구체적인 수치가 제시된 것은 아니므로, 핵심은 성능 수치 자체보다 확산 추론을 통계적 필터링 관점에서 다시 설계했다는 점에 있습니다.

이 접근은 향후 확산 모델 샘플러 설계에 중요한 시사점을 줍니다. 더 빠른 적분만을 추구하는 대신, 생성 궤적에 누적되는 불확실한 예측들을 어떻게 정렬하고 합의시킬지가 새로운 최적화 축이 될 수 있습니다.

출처: Hugging Face Daily Papers