RayがアクセラレーターSIGを設立、異種ハードウェア対応を体系化

概要

Rayが開発された当時、分散コンピューティングの中心はCPUクラスタだった。現在のAI開発では、GPUやTPU、さらに用途を限定した専用アクセラレーターが学習、推論、強化学習を支えている。これらのデバイスは、メモリ容量だけでなく、デバイス間接続、CPUやネットワークとの関係、利用できるソフトウェアスタックも異なる。Rayはこの変化に対応するため、ハードウェアアクセラレーター向けの特別関心グループ（SIG）を設立した。

初期ロードマップの三分野

• 開発・テスト基盤：クラウド事業者やハードウェアベンダーが、Rayの開発とテストに機器を提供するための手順を整備する。ドライバー、ランタイム、依存関係を明示した再現可能な環境を用意し、基本的なデバイス確認だけでなく、分散処理、障害復旧、性能劣化も検証対象にする。環境の保守、障害調査、容量とコストの管理責任も明確化する方針だ。
• ハードウェア認識型スケジューリング：アクセラレーターの台数だけでは、実際の性能を判断できない。デバイス同士の接続、CPUやNICとの配置、ラックやTPUスライスなどの上位トポロジーが配置結果を左右するためだ。SIGは、ラベル、仕様、アーキテクチャー、トポロジーを表現するベンダー中立のインターフェースを検討する。Rayのダッシュボードで、検出された機器と接続関係を確認できるようにする構想も含まれる。
• ネットワークとI/O転送：従来のオブジェクトストアはCPUデータを前提としており、アクセラレーターのテンソルがホストメモリを経由する場合、転送がボトルネックになり得る。Ray Direct Transport（RDT）は、Ray上ではテンソルへの参照を渡し、実データはUCXやRDMAなどを使ってデバイス間で直接転送する考え方だ。今後は、対応するアクセラレーター、フレームワーク、相互接続方式を広げ、初期化、終了、再起動、障害復旧の信頼性を高める。

意義と課題

今回の取り組みは、単に対応デバイスの数を増やす計画ではない。共通インターフェース、CIによる検証、ハードウェアの可視化を組み合わせ、Rayへのアクセラレーター統合を継続可能な仕組みにしようとしている。開発者は、Rayがクラスタ構成を正しく認識したか確認しやすくなり、特定ベンダー向けの処理をアプリケーションに埋め込む必要も減らせる可能性がある。

コアのスケジューリングと配置は引き続きRay Coreが担い、SIGはプラグインインターフェース、CI、統合成熟度の基準に重点を置く。異なるハードウェア上で学習、強化学習、分離型サービングを運用する際の一貫性向上が期待される一方、実機での検証、クラウドからしか得られないトポロジー情報、動的なActorの再起動に耐える高速転送は、長期的な実装課題として残る。

出典：PyTorch Blog