Ray成立加速器SIG：为多样化硬件补上调度、测试与传输能力

导语

Ray最初诞生于以CPU集群为主的分布式计算环境。如今，AI训练、推理和强化学习越来越依赖GPU、TPU以及各类专用加速器，硬件之间的内存容量、互联方式和适用场景差异也持续扩大。针对这一变化，Ray宣布成立面向硬件加速器的特别兴趣小组（SIG），希望把过去分散的适配工作推进为一套跨厂商、可持续的协作机制。

三条主线

• 开发与测试基础设施：SIG计划推动云服务商和硬件厂商提供可复现的设备环境，并将驱动、运行时和依赖版本明确记录。未来测试不仅要覆盖设备基本功能，还要检查分布式任务、故障恢复和性能回退。项目还需要明确环境维护、故障排查、容量与成本管理等责任。
• 硬件感知调度：在加速器节点上，设备数量只是基础信息。设备之间的互联、与CPU和网卡的关系，以及更大范围的机架或切片拓扑，都可能影响任务性能。SIG希望定义厂商中立的硬件描述接口，强化设备和拓扑发现，并在Ray仪表板中展示硬件连接与相关指标。
• 网络与I/O传输：传统对象存储路径面向CPU数据，可能要求加速器张量先复制到主机内存，再经主机网络传输。Ray Direct Transport（RDT）则尝试让Actor之间传递张量引用，实际数据通过设备间直连和UCX、RDMA等高速通道移动。后续工作将扩展不同加速器、框架和互联技术的支持，同时加强初始化、重启和错误恢复能力。

意义与影响

这项计划的重点并不是简单增加支持列表，而是建立加速器接入Ray的共同标准。对开发者而言，统一的硬件接口和可视化能力有助于确认Ray是否正确识别设备，并减少针对单一厂商编写的适配逻辑；对厂商和云平台而言，测试环境、接入清单及成熟度分级提供了更清晰的参与方式。

Ray的核心调度与放置逻辑仍属于Ray Core，而SIG将侧重插件接口、CI测试和加速器集成的成熟度建设。若这些工作得到持续维护，Ray或能更好应对加速器生态的碎片化，让大规模训练、强化学习和分离式服务等工作负载在不同平台上获得更一致的部署体验。不过，跨硬件验证、拓扑信息获取以及传输故障恢复仍是需要长期投入的工程问题。

来源：PyTorch Blog