Halley, 예측 제어로 AI 데이터센터 광 네트워크를 강화하다

AI 학습 성능을 좌우하는 광 네트워크

대규모 AI 모델은 수만 개의 가속기를 연결한 전용 클러스터에서 학습된다. 각 학습 단계가 끝나면 모든 가속기가 데이터를 교환하기 때문에, 네트워크 장애는 단순한 통신 품질 저하를 넘어 학습 진행 자체를 늦출 수 있다. 랙 사이의 연결에는 광 네트워크가 사용되지만, 레이저가 같은 인클로저와 냉각 장치, 전원을 공유한다면 여러 장치가 동시에 고장 날 수 있다. 이런 상관 고장에서는 예비 부품 비율을 일정하게 유지하는 방식만으로 가용성을 계속 높이기 어렵다.

논문이 제안한 Halley는 장애가 발생한 뒤 대응하는 대신, 각 자원의 다음 상태를 읽고 사전에 조치하는 제어 플레인이다. 예측 결과를 확신하기 어려운 경우에는 기존에 배치된 정책을 사용하도록 설계해 예측기 자체의 불확실성이 새로운 위험으로 이어지는 것을 줄인다.

네 가지 제어 모듈

• LightReserve：공유 레이저 풀의 규모를 정하고, 필요한 자원을 어느 정도 커버할 수 있는지 보장합니다.
• FoldFit：광 스위치의 스케줄을 계산하며, 논문에서는 최적 해의 11/9 이내라는 보장을 제시합니다.
• ThermaLead：마이크로링의 열 상태를 한 단계 앞서 제어합니다.
• TriageGuard：위험도가 가장 높은 모듈을 먼저 보호해 제한된 대응 자원을 우선 배분합니다.

이 구성요소들은 자원 계획, 스위치 스케줄링, 열 관리, 장애 대응 우선순위라는 서로 다른 문제를 맡는다. Halley의 특징은 예측 제어를 단독으로 강제하지 않고, 불확실성이 커지면 기존 정책으로 회귀하도록 만든 점이다. 또한 논문은 폴백 회로가 형식 검증됐다고 설명한다.

시뮬레이션 결과

논문에서 말하는 유효 굿풋은 이상적인 처리량 중 실제 학습에서 유지된 비율이다. 예비 자원을 모두 소진해 학습 윈도 전체를 잃는 상황에서, 기준 방식의 유효 굿풋은 65.2%였지만 Halley를 적용하면 76.5%로 높아졌다. 장애가 전체 윈도를 중단시키지 않고 암 채널의 대역폭만 줄이는 경우에는 67.4%에 도달했다.

저자들은 이를 데이터센터 효율로도 환산한다. 메가와트당 학습 처리량은 최대 1.031.17배가 될 수 있으며, 같은 학습 작업을 완료할 때 필요한 데이터센터 용량은 최대 3.314.7% 줄어들 수 있다. 다만 이 수치는 시뮬레이션에 기반한 결과다. 실제 생산 클러스터에서 장기간 운용하며 확인한 수치로 해석해서는 안 된다.

의미와 남은 과제

Halley가 제시하는 핵심 관점은 광 네트워크 신뢰성을 단순한 하드웨어 중복 문제가 아니라 여러 계층이 연결된 제어 문제로 보는 것이다. 클러스터가 커질수록 상관 고장, 열 제약, 예비 자원 관리, 스위치 스케줄링이 실제 학습 성능에 함께 영향을 미친다. 장애가 발생하기 전에 여유 자원을 활용하면 명목상의 연산 능력을 더 많은 유효 학습량으로 전환할 수 있다.

상용 배포를 위해서는 예측 신호의 품질, 제어 지연, 광 부품 간 호환성, 복합 장애에서의 동작을 추가로 검증해야 한다. 그럼에도 이 연구는 AI 인프라의 성능 향상이 가속기를 더 추가하는 것뿐 아니라, 네트워크 자원을 얼마나 선제적으로 운영하느냐에도 달려 있음을 보여준다.

출처：Hugging Face Daily Papers