Agora：把互联网闲置 GPU 变成大模型预训练集群

导语

大模型训练长期被视为少数大型机构的游戏：需要成排的同构 GPU、高速互联、统一调度和稳定供电。Agora 这篇论文挑战的正是这个前提——如果大量分散在互联网上的消费级和专业 GPU 可以被组织起来，是否也能完成多十亿参数级别的大模型预训练？

论文给出的答案是一个名为 Agora 的系统。它面向的不是传统数据中心，而是异构、易掉线、由不同个人或组织拥有、只通过普通互联网连接的计算资源。研究团队称这种模式为 “Protocol Learning”：模型由多人共同训练、共同拥有，并且单个参与者只持有模型的一段，而不是完整权重。

核心要点

• 目标是利用互联网闲置算力：Agora 关注的是那些难以被传统分布式训练框架使用的 GPU，包括消费级显卡和专业显卡。它们性能、网络、可用时间都不一致，节点还可能随时加入或离开。
• 采用模型分片与流水线并行：每个参与者只负责模型的一个阶段，通过带宽友好的流水线并行在互联网链路上协作。这与数据中心内依赖高速互联的 DP/MP 训练方式不同。
• 强调多方容错协同：论文将通信高效并行、异步优化和容错系统设计结合起来，使训练能够在节点波动中持续进行。
• 验证实验是 Pluralis-8B：团队报告了一个 8.6B 参数模型的开放、无需许可的预训练运行，训练数据为 500B token 的 FineWeb-Edu。
• 运行规模具备参考意义：该实验历时 40 天，包含 330 个贡献节点，主要是互联网连接下的消费级 GPU。论文称训练吞吐约为 170k tokens/s，池化算力效率为每 TFLOP 4.2 tokens，达到集中式 H100 基线效率的 63%，并接近集中式参考训练的收敛结果。

意义与影响

Agora 最值得关注的地方，不只是“用家用 GPU 训练了一个 8B 级模型”，而是它把开源 AI 的边界从模型发布扩展到了训练过程本身。过去，开源社区常常只能在大公司或少数机构完成预训练后使用权重；Agora 设想的是一种更接近公共基础设施的路径：贡献者提供算力，系统协议协调训练，模型所有权也更具集体属性。

如果这一方向继续成熟，它可能降低前沿模型训练的组织门槛，让开源社区、研究团体甚至分布式算力网络有机会参与更大规模的预训练。不过，论文中的结果仍应被视为早期但重要的系统性证明。互联网训练会面临通信瓶颈、节点可信度、激励机制、结果复现、安全治理和权重归属等复杂问题。尤其当训练规模继续扩大到更高参数量和更多 token 时，效率和稳定性是否仍能保持，是下一阶段必须回答的问题。

总体看，Agora 不是一个单纯的模型发布，而是一套关于“大模型如何被共同训练”的技术提案。它为开源前沿训练提供了一条不同于集中式超算集群的路线，也让“闲置算力能否真正变成 AI 基础设施”这个问题有了更具体的实验样本。

来源：arXiv