GFlowRL：把分布匹配式强化学习扩展到大语言模型

导语

大语言模型的后训练通常围绕“最大化奖励”展开，但这种范式容易把模型推向少数高分模式，尤其在数学推理、代码生成和多轮攻击等任务中，可能牺牲解法多样性。论文 GFlowRL: Scaling Distribution-Matching RL to Large Language Models 关注的正是另一条路线：用 GFlowNet 风格的分布匹配目标，让模型学习与奖励分布相匹配，而不是简单追逐最高奖励样本。

核心要点

• 问题不在目标，而在可扩展性：已有 GFlowNet 式 RL 在数学和代码任务上显示潜力，但当模型规模、生成轨迹长度、奖励噪声和分布式训练复杂度同时上升时，原本被视为关键组件的 prompt 条件分区函数网络，反而会带来梯度不稳定和额外工程负担。
• GFlowRL 移除辅助分区网络：作者通过系统分析提出，分区函数不一定要由单独网络学习，可以用训练本就需要的 rollout group 做批内蒙特卡洛估计。这保留了奖励分布匹配目标，同时简化了训练管线。
• 两个稳定器补齐训练细节：论文加入了 rollout 与 trainer 漂移的 importance-sampling correction，以及针对异常残差的 asymmetric flow-gap clipping，用于缓解长轨迹和噪声奖励下的训练波动。
• 实验覆盖多类任务：论文称 GFlowRL 在数学、代码和对抗红队基准上超过对照方法。在 14B 规模上，模型达到 Codeforces 2048 rating，距离 o3-mini 在该指标上约 25 Elo；在 AdvBench 和 HarmBench 上，也取得最高平均 ASR@1。
• 扩展到 MoE 架构：同一训练配方迁移到论文评估的多种 MoE 配置，并覆盖最高 235B 参数；作者称此前的 FlowRL 在这些设置中未能收敛，而 GFlowRL 保持稳定。

意义与影响

GFlowRL 的价值不只是刷新若干基准结果，而是指出 GFlowNet 式训练在大模型时代的一个现实瓶颈：理论上优雅的归一化组件，到了大规模分布式后训练中可能变成不稳定源。用批内估计替代学习式分区函数，意味着算法更贴近现有 RL 后训练流程，也更容易落地到稠密模型和 MoE 模型。

如果论文结论经更多复现验证，分布匹配式 RL 可能成为奖励最大化之外的重要补充：它更强调覆盖高奖励解法的分布，适合需要多样推理路径、探索式代码解法或安全红队生成的场景。不过，论文中的对抗红队结果也提醒我们，同类技术既能增强评测和防御，也可能提升攻击样本生成能力，后续应用需要配套安全边界。

来源：arXiv