用“随机时钟”改造流匹配:让生成模型更懂重尾数据
导语
生成模型在图像、气象、金融等场景中越来越常见,但许多真实数据并不“像高斯分布”那样温和。少数类别、极端天气、金融收益中的罕见波动,往往具有重尾特征:大多数样本集中在常规区域,少量极端样本却对风险评估和决策非常关键。
arXiv 新论文《Heavy-Tailed Flow Matching via Random Clocks》提出 Heavy-Tailed Flow Matching via Random Clocks,简称 HTFM。它试图解决一个基础但重要的问题:当数据天然带有重尾结构时,仍然从高斯噪声或高斯源分布出发的扩散/流匹配模型,是否在归纳偏置上就不够合适?
核心要点
- 从高斯源到重尾源:传统流匹配通常选择高斯源分布,训练目标清晰、实现便利,但面对长尾类别或极端值时可能覆盖不足。HTFM 将重尾源表示为“由时钟条件化的高斯源混合”。
- 随机时钟是关键抽象:在给定一条时钟路径时,模型看到的是条件高斯源与对应的流;而把时钟变量边缘化后,就得到更丰富的高斯尺度混合族,可覆盖高斯、α-stable 和 Student-t 等分布家族。
- 用 logsignature 编码路径信息:随机时钟本身是路径值对象,直接喂给神经网络并不方便。论文采用截断 logsignature 特征对时钟路径进行编码,使速度场能够感知当前条件空间,同时宣称额外开销很小。
- 保留流匹配的低 NFE 优势:流匹配方法常被看重的一点是采样所需函数评估次数较低。论文称 HTFM 在增强尾部建模能力的同时,仍保留这一采样效率优势。
- 实验覆盖多类重尾场景:作者在二维不平衡 α-stable 混合、CIFAR10-LT 长尾图像数据以及 HRRR 天气场上测试,报告其在模式覆盖、样本质量和尾部统计恢复方面优于高斯流匹配,并可与重尾基线竞争。
意义与影响
HTFM 的价值不只在于“换一个噪声分布”。更重要的是,它把重尾建模拆成了一个可条件化、可控制的生成过程:给定时钟路径时仍是熟悉的高斯结构,边缘化后则产生重尾行为。这种设计兼顾了理论可处理性与应用场景中的分布复杂性。
对实际应用而言,论文提出的“尾部控制接口”尤其值得关注。按照作者描述,用户可以通过改变时钟法则或尾部参数,在同一架构中调节生成样本的尾部厚度。这对于天气极端事件模拟、风险压力测试、长尾视觉类别生成等任务都有潜在意义。
当然,当前素材主要来自论文摘要和 arXiv 页面,更多细节仍需阅读完整论文验证,例如不同数据集上的具体指标、与各类基线的公平性、logsignature 截断阶数选择,以及在更高维真实业务场景中的稳定性。不过,HTFM 提供了一个有启发性的方向:生成模型不必总从“温和”的高斯世界出发,面对重尾现实,也可以把源分布本身设计得更贴近问题结构。
来源:arXiv
评论
正在确认登录状态……
正在加载评论……