무거운 꼬리 데이터를 위한 랜덤 클록 기반 Flow Matching

도입

현실 데이터는 종종 가우시안 분포처럼 온건하지 않다. 불균형 이미지 데이터셋, 금융 수익률, 극단 기상 데이터에서는 드물게 등장하는 샘플이 전체 위험과 의사결정에 큰 영향을 준다. 하지만 표준 확산 모델과 Flow Matching 모델은 보통 학습이 편리한 가우시안 노이즈 또는 가우시안 소스 분포에서 출발한다.

arXiv 논문 “Heavy-Tailed Flow Matching via Random Clocks”는 이 출발점 자체를 바꾸려는 시도다. 저자들이 제안한 HTFM은 heavy-tailed 소스를 랜덤 클록 경로로 조건화된 가우시안 소스의 혼합으로 바라본다.

핵심 내용

• 가우시안 소스의 한계 보완: 기존 Flow Matching은 훈련 목표가 다루기 쉽지만, 긴 꼬리와 극단값을 가진 데이터에는 귀납적 가정이 잘 맞지 않을 수 있다.
• 랜덤 클록을 통한 heavy-tail 표현: 특정 클록 경로가 주어지면 소스 분포와 플로우는 가우시안 구조를 유지한다. 반대로 클록을 주변화하면 가우시안 스케일 혼합이 되어 가우시안, α-stable, Student-t 계열까지 포괄할 수 있다.
• logsignature 특징으로 경로 인코딩: 클록은 단순한 스칼라가 아니라 경로값 객체다. 논문은 truncated logsignature 특징을 사용해 클록 경로를 압축적으로 표현하고, 속도장이 실현된 조건 공간에 맞게 적응하도록 한다.
• 낮은 NFE 샘플링 유지: Flow Matching의 장점 중 하나는 비교적 적은 함수 평가 횟수로 샘플링할 수 있다는 점이다. HTFM은 꼬리 모델링 능력을 높이면서도 이 효율성을 유지한다고 설명한다.
• 여러 heavy-tail 환경에서 평가: 실험은 2차원 불균형 α-stable 혼합, CIFAR10-LT, HRRR 기상장을 포함한다. 저자들은 HTFM이 가우시안 Flow Matching 및 경쟁 heavy-tailed 기준선보다 모드 커버리지, 샘플 품질, 꼬리 통계 복원에서 나은 결과를 보였다고 보고한다.

의미와 영향

HTFM의 핵심은 단순히 노이즈 분포를 바꾸는 데 있지 않다. 조건부로는 가우시안 구조를 유지해 학습과 해석 가능성을 확보하고, 주변화 후에는 heavy-tailed 특성을 얻는 방식이다. 이는 극단값이 중요한 실제 데이터에 더 적합한 생성 모델 설계 방향을 보여준다.

또한 논문은 꼬리의 두꺼움을 제어할 수 있는 인터페이스를 제시한다. 클록 법칙이나 꼬리 파라미터만 바꾸면 같은 아키텍처에서 생성 분포의 tail heaviness를 조정할 수 있다는 설명이다. 이는 기상 극단 사건 시뮬레이션, 금융 스트레스 테스트, 롱테일 클래스 생성 같은 응용에서 의미가 있을 수 있다.

다만 현재 제공된 정보는 주로 초록과 arXiv 페이지에 기반하므로, 구체적인 지표, 기준선 비교의 공정성, logsignature 절단 설정, 대규모 실제 환경에서의 안정성은 논문 본문을 통해 확인해야 한다. 그럼에도 HTFM은 생성 모델이 항상 가우시안 세계에서 시작해야 한다는 관성을 깨는 흥미로운 제안이다.

출처: arXiv