RL 后训练算力该花在哪？一篇新论文拆解模型、搜索、学习与反馈的取舍

导语

强化学习后训练正在成为基础模型提升推理、规划能力，以及构建机器人反馈学习流程的重要手段。但在很多论文和工程报告中，后训练成本往往被压缩成一个总 FLOPs 数字。问题在于，同样的总算力可以有完全不同的用法：换一个更大的策略模型、让小模型训练更久、生成更多 rollout 进行搜索，或把预算花在更复杂的奖励/反馈模型上。arXiv 论文《Where Should RL Post-Training Compute Go?》正是围绕这个“固定预算下如何分配算力”的问题展开。

核心要点

• 总 FLOPs 不足以描述后训练成本：作者提出面向 GRPO 后训练的 FLOP 记账框架，将计算拆分为 rollout/search、policy update/learning，以及 reward 或 feedback model evaluation。这样可以看清预算究竟花在了采样、学习还是反馈上。
• 模型大小和训练分配是耦合的：同样 FLOPs 下，更大的策略模型每个 token 的计算更贵，因此会减少可购买的更新次数或 rollout 数量。也就是说，“换大模型”并不是单独变量，它会改变整个训练配置的可行空间。
• 奖励系统会改变算力结构：如果使用规则奖励，非更新计算几乎都用于策略 rollout；如果采用 PRM 风格的反馈，奖励模型推理会占据可见的一部分预算。这意味着反馈质量的提升并非免费，需要纳入同一套账本。
• 不存在普适最优分配：在 LoRA 适配的 Qwen2.5 策略实验中，作者观察到的最佳分配会随模型规模、总预算、奖励系统和评估目标变化。某个设置下有效的算力比例，不能简单外推到另一个设置。
• RACE 是诊断流程而非保证：论文提出 RACE 作为 pilot-grid protocol，用来在大规模验证前识别可能的分配区间。作者也强调，它不是保证 held-out 提升的万能方法，而是帮助研究者更早发现资源配置方向的诊断工具。

意义与影响

这项工作的价值不在于给出一个“算力黄金比例”，而是提醒社区：RL 后训练的比较需要更精细的成本口径。只说两个系统使用了相同 FLOPs，并不能说明它们在搜索、学习和反馈上的投入等价。对于研究论文，这意味着需要同时报告总 FLOPs 与内部拆分；对于工程团队，则意味着在预算有限时，应先做小规模网格诊断，而不是默认追求更大模型或更多采样。

随着推理模型、规划型 agent 和机器人学习系统继续依赖 RL 后训练，算力分配会成为影响结果复现性和性价比的关键变量。把“花了多少算力”进一步拆成“算力花在哪里”，可能会成为后训练研究的新基线报告方式。

来源：arXiv