폐기 GPU의 두 번째 삶, DumpsterCluster로 LLaMA-70B 추론하기

들어가며

데이터센터가 최신 가속기로 교체되면서 아직 작동하는 구형 GPU가 중고 시장으로 이동하고 있다. 이 장비들은 최신 제품보다 전력 효율, 메모리 대역폭, 유지보수 편의성에서 불리하지만, 계산 자원으로서의 가치를 모두 잃은 것은 아니다. 옥스퍼드대학교 연구팀의 DumpsterCluster는 이러한 퇴역 GPU를 현대 대규모 언어 모델의 추론에 재활용할 수 있는지 실제 시스템으로 검증했다.

중고 부품으로 128-GPU 클러스터 구축

연구팀은 중고 부품만 사용해 128-GPU DumpsterCluster를 처음부터 구축하고 1년 동안 운영했다. 시스템의 중심은 NVIDIA V100 GPU다. 개별 카드의 성능으로 최신 가속기를 따라잡기보다, 여러 GPU에 모델 처리를 나누는 방식으로 제한된 성능과 메모리를 보완했다.

파이프라인 병렬화를 적용한 결과, 이 클러스터는 LLaMA-70B를 서비스하면서 경쟁력 있는 처리량을 달성했다. 이는 구형 GPU도 적절한 작업 분할과 스케줄링을 적용하면 실용적인 추론 플랫폼이 될 수 있다는 뜻이다. 다만 GPU 수를 늘린다고 성능이 자동으로 선형 증가하는 것은 아니다. GPU 간 통신, 작업 분할, 파이프라인 대기 시간이 실제 처리량을 제한할 수 있다.

핵심 내용

• 초기 하드웨어 비용이 크게 낮다. 연구에서 제시한 DumpsterCluster의 비용은 약 2만 2,000달러로, 8개의 B200을 사용하는 시스템의 약 60만 달러보다 훨씬 낮다.
• 구매비와 운영비는 다르다. 구형 GPU는 토큰 하나를 생성하는 데 더 많은 에너지를 소비한다. 전기요금이 높은 지역에서는 중고 장비의 초기 절감액이 장기 운영비로 상쇄될 수 있다.
• 환경적 이점이 자동으로 따라오지 않는다. 평균적인 전력망 탄소집약도를 적용하면 8B 모델의 토큰당 총 탄소배출량은 최신 하드웨어의 약 4배, 70B 모델은 40배를 넘을 수 있다.
• 소프트웨어 최적화가 핵심이다. 파이프라인 병렬화와 실행 구조 개선이 다수의 구형 GPU를 하나의 서비스 가능한 시스템으로 묶는 데 중요한 역할을 한다.

의미와 영향

DumpsterCluster는 GPU 재사용이 단순한 개념 증명에 그치지 않을 수 있음을 보여준다. 낮은 초기 자본 투자를 우선하고, 다소 낮은 효율과 복잡한 운영을 감수할 수 있는 조직이라면 중고 가속기를 통해 LLM 추론 역량을 확보할 수 있다. 오프라인 작업, 내부 서비스, 초저지연이 필수적이지 않은 애플리케이션이 유력한 활용처다.

동시에 이 연구는 하드웨어 수명 연장이 곧 친환경 컴퓨팅이라는 생각에 제동을 건다. 시스템을 비교할 때는 구매 비용뿐 아니라 유지보수, 고장 부품 교체, 전력 소비, 전력 생산 과정의 배출량을 함께 계산해야 한다. 특히 대규모 모델은 장기간 생성하는 토큰 수가 많기 때문에, 토큰당 효율의 작은 차이도 전체 운영 기간에는 큰 격차로 확대된다.

따라서 중고 GPU가 모든 곳에서 최선의 선택인 것은 아니다. 저렴하고 탄소집약도가 낮은 전력을 이용할 수 있으며 복잡한 운영을 감당할 수 있는 지역에서 재활용의 가치가 가장 커진다. DumpsterCluster의 핵심 메시지는 구형 GPU가 최신 가속기를 전면 대체한다는 것이 아니라, 비용·성능·지속가능성을 하나의 배치 조건으로 함께 평가해야 한다는 점이다.

출처: Hugging Face Daily Papers