退役 GPU 还能做什么？DumpsterCluster 探索用二手硬件运行 LLaMA-70B

导语

随着数据中心持续升级，仍具备计算能力的退役 GPU 正大量流入二手市场。它们通常无法与最新一代加速器在能效、显存带宽和维护便利性上竞争，但这并不意味着只能被闲置。牛津大学研究团队发表的 DumpsterCluster 研究，尝试回答一个实际问题：把这些“退役”GPU 重新拼成集群，能否承担现代大语言模型推理任务？

用二手硬件搭建完整集群

研究团队从零开始，仅使用二手组件搭建了一套 128-GPU DumpsterCluster，并持续运行一年。集群主要采用 NVIDIA V100，通过流水线并行等优化方式，将模型推理任务拆分到多张 GPU 上，以缓解单卡显存和计算能力不足的问题。

研究摘要显示，这套系统能够服务 LLaMA-70B，并取得具有竞争力的吞吐表现。这里的关键并不是让老 GPU 在单卡性能上追平 B200，而是通过增加卡数、重新组织计算流程，把大量低成本硬件组合成一个可用的推理平台。

核心要点

• 采购门槛显著降低。 研究中的 DumpsterCluster 成本约为 2.2 万美元，而一套 8-GPU B200 系统的价格约为 60 万美元。二手集群因此为预算有限的研究机构、创业团队和边缘部署提供了另一种选择。
• 软件优化决定可用性。 流水线并行是这类异构、老旧集群的关键。硬件数量增加后，通信、任务切分和流水线等待都会影响实际吞吐，单纯堆卡并不能自动带来线性扩展。
• 经济性不能只看硬件价格。 老一代 GPU 每生成一个 token 所需的能源明显更多。电价较高的地区，长期运行成本可能迅速抵消二手设备的采购优势。
• 环保表现存在反转。 在电网平均碳强度下，二手系统服务 8B 模型时的单位 token 总碳排放约为新一代硬件的 4 倍；对于 70B 模型，这一差距超过 40 倍。

这项研究意味着什么

DumpsterCluster 证明，GPU 的“第二次生命”并非概念展示。对于吞吐要求适中、可以接受更多硬件和更复杂运维的场景，二手 GPU 可能帮助组织以更低的初始资本投入获得大模型推理能力。它尤其适合离线任务、内部服务或对时延不极端敏感的应用。

但研究也提醒业界，不应把“延长硬件寿命”自动等同于绿色计算。评估二手集群时，至少要同时计算设备采购、维护、故障替换、能源消耗以及电力生产带来的碳排放。对于大模型，单位 token 的能效会直接放大长期差异，模型规模越大，老旧硬件的能源劣势可能越突出。

因此，二手 GPU 的最佳落点不是所有地区和所有工作负载，而是低电价、低碳电力充足，并且能够承受较低能效与较复杂运维的部署环境。硬件回收、推理软件优化和清洁能源配置需要被视为一个整体。DumpsterCluster 的真正价值，也许不在于证明旧 GPU 可以替代最新加速器，而在于展示了成本、性能和可持续性必须放在同一张账本上衡量。

来源：Hugging Face Daily Papers