Ray, 가속기 SIG 출범…이기종 하드웨어 지원 체계화

배경

Ray가 처음 만들어졌을 때 분산 컴퓨팅은 주로 CPU 클러스터를 의미했다. 하지만 현재 AI 학습과 추론, 강화학습은 GPU, TPU, 그리고 특정 작업에 최적화된 다양한 가속기에 의존한다. 장치마다 메모리 용량, 장치 간 연결, CPU와 네트워크 인터페이스의 배치, 소프트웨어 스택이 다르기 때문에 단순히 지원 장치 목록을 늘리는 방식만으로는 충분하지 않다. Ray는 이런 변화에 대응하기 위해 하드웨어 가속기 전용 특별 관심 그룹(SIG)을 출범시켰다.

초기 로드맵

• 개발 및 테스트 인프라: SIG는 클라우드 사업자와 하드웨어 벤더가 Ray 개발·테스트에 가속기 자원을 제공할 수 있는 절차를 만들 계획이다. 드라이버, 런타임, 의존성 버전을 명시한 재현 가능한 환경을 구축하고, 기본 장치 기능뿐 아니라 분산 워크로드, 장애 복구, 성능 저하도 검증한다. 환경 유지보수와 장애 조사, 용량 및 비용 관리의 책임도 분명히 해야 한다.
• 하드웨어 인식형 스케줄링: 가속기 노드를 설명할 때 장치 개수만으로는 부족하다. 장치 사이의 연결, CPU·NIC와의 관계, 랙이나 TPU 슬라이스 같은 상위 도메인이 작업 성능과 배치 결과에 영향을 주기 때문이다. SIG는 장치 레이블, 사양, 아키텍처, 토폴로지를 표현할 수 있는 벤더 중립 인터페이스를 정의하려 한다. Ray 대시보드에서 감지된 하드웨어와 연결 상태를 확인하는 기능도 추진 대상이다.
• 네트워크 및 I/O 전송: 기존 Ray 객체 저장소는 CPU 데이터를 중심으로 설계돼 가속기 텐서가 호스트 메모리와 일반 호스트 네트워크를 거칠 수 있다. Ray Direct Transport(RDT)는 Ray를 통해 텐서 참조를 전달하되, 실제 데이터는 UCX와 RDMA 같은 고성능 전송 방식을 통해 장치 사이에서 직접 이동시키는 접근이다. 앞으로 더 많은 가속기, 프레임워크, 인터커넥트를 지원하고 초기화, 종료, 재시작, 오류 복구의 안정성을 높일 예정이다.

의미와 한계

이번 발표의 핵심은 지원 장치의 숫자를 늘리는 데 있지 않다. 공통 인터페이스와 CI 검증, 하드웨어 가시성을 묶어 가속기 통합을 지속 가능한 엔지니어링 과정으로 만들려는 시도다. 개발자는 Ray가 클러스터를 올바르게 인식했는지 확인하기 쉬워지고, 특정 벤더에 종속된 애플리케이션 코드를 줄일 수 있다. 벤더와 클라우드 사업자 역시 명확한 온보딩 절차와 테스트 책임을 바탕으로 참여할 수 있다.

핵심 스케줄링과 배치 로직은 계속 Ray Core가 담당하며, SIG는 플러그인 인터페이스, CI 범위, 가속기 통합의 성숙도 기준에 집중한다. 이 구조가 꾸준히 유지된다면 대규모 학습, 강화학습, 분리형 서빙을 여러 하드웨어 환경에서 운영할 때 일관성이 높아질 수 있다. 다만 실제 장치에 대한 지속적인 검증, 플랫폼에서만 제공되는 토폴로지 정보, 동적으로 재시작되는 Actor를 견디는 전송 복구는 장기 과제로 남는다.

출처: PyTorch Blog