Miles v0.1：把前沿强化学习后训练做成可部署基础设施

导语

大模型强化学习后训练的难点，往往不只在算法本身。如何稳定地产生 rollout、组织训练、同步不断变化的模型权重，并在不同硬件拓扑下保持效率和可靠性，决定了研究方案能否真正运行在大规模集群上。RadixArk 发布的 Miles v0.1，正是从这条工程链路出发，尝试提供一套面向前沿模型后训练的生产级全栈系统。

核心要点

• 覆盖完整训练闭环。 Miles 将 rollout、训练器和权重同步视为相互衔接的系统组件，而不是彼此独立的脚本。rollout 引擎基于 SGLang 构建，训练侧提供 NVIDIA Megatron-LM 与 PyTorch FSDP 两种后端。
• 同步机制适配不同部署方式。 项目提供三种权重同步传输方案，用于应对不同的计算拓扑与部署需求。这意味着研究者可以根据系统结构选择同步路径，而不必固定在单一架构上。
• 后训练方式较为丰富。 除全参数 RL 外，Miles 还覆盖 LoRA RL、在线蒸馏、监督微调，以及强调 rollout 与训练分布一致性的真正在线对齐模式。
• 架构不局限于语言模型。 报告称，同一套设计也被延伸到扩散模型，体现出其目标并非只服务某一种训练算法。

一个有代表性的案例

报告给出了端到端的异步智能体强化学习案例：在终端使用编码任务上，对 GLM-5.2 744B-A40B 模型进行训练，使用 64 张 NVIDIA GB300 GPU。前 30 个被测训练步骤的中位步时为 263 秒。这个案例的价值不在于单一性能数字，而在于展示了 rollout 与训练可以采用完全异步的组织方式，并将大规模模型、工具使用任务和后训练基础设施连接起来。由于素材未提供对照实验或质量提升数据，不能据此判断 Miles 相对其他系统的绝对优势。

意义与影响

Miles v0.1 把生产级后训练中的关键问题显式化：组件是否可验证，接口是否足够干净，系统是否允许替换后端和同步方式。对于研究团队，这种模块化设计有助于在实验算法变化时减少基础设施重写；对于企业，则可能降低从原型训练走向持续运行系统的工程门槛。

不过，开源系统的实际价值仍取决于文档、测试、硬件兼容性和社区维护。当前素材主要介绍架构与案例，尚未给出更完整的公开基准、成本对比或稳定性数据。因此，Miles 更适合被理解为一套值得评估的后训练基础设施，而不是已经被全面验证的统一答案。

项目已开源，研究者可以从代码和项目网站进一步了解其实现与适用边界。

Hugging Face Daily Papers