엔비디아의 AI 우위, GPU를 넘어 데이터센터 시스템으로

도입

생성형 AI 붐이 시작된 뒤 엔비디아의 강점은 최첨단 GPU를 공급할 수 있다는 점으로 요약됐다. AI 연산 수요가 급증하면서 GPU 공급력과 소프트웨어 생태계는 회사의 강력한 우위를 만들었다. 그러나 아마존과 구글 같은 하이퍼스케일러가 자체 칩을 개발하면서 GPU 시장에서 엔비디아만 선택할 수 있는 상황은 약해지고 있다.

이 변화를 GPU 성능만으로 해석하면 더 큰 흐름을 놓칠 수 있다. AI 배치가 기가와트급으로 커지면 프로세서를 더 추가하는 것만으로는 충분하지 않다. 필요한 데이터를 적시에 연산 장치로 전달하고, 메모리·스토리지·네트워크를 원활하게 연결하는 일이 핵심 과제가 된다.

핵심 내용

• 병목이 데이터 오케스트레이션으로 이동한다. 스토리지나 통신이 연산을 따라가지 못하면 값비싼 GPU가 대기하게 된다. 클러스터가 커질수록 데이터 흐름과 장치 간 협업을 관리하는 일은 더 복잡해진다.
• 엔비디아는 GPU가 아니라 시스템을 판매하고 있다. Vera Rubin 아키텍처는 Rubin GPU와 Vera CPU를 비롯해 추론, 스토리지, 네트워크를 위한 구성 요소를 함께 묶는다. 목표는 연산 사이클을 단순히 늘리는 것이 아니라 GPU 주변의 작업을 효율화하는 데 있다.
• Vera CPU는 데이터 조율을 담당한다. 엔비디아는 Vera CPU가 일부 스토리지 작업을 가속해 플래시 성능을 더 충분히 활용하고, 스토리지와 연산 사이의 병목을 줄일 수 있다고 설명한다. 원문은 엔비디아 임원의 발언을 인용해 특정 작업에서 최대 약 3배 개선을 언급하지만, 이는 업체가 제시한 설명이며 실제 효과는 작업 부하에 따라 달라질 수 있다.
• 경쟁사들은 다른 해법을 택한다. OpenAI의 Jalapeño 칩은 더 큰 연결 영역 안에서 작업을 처리해 데이터 이동과 통신 지연을 줄이는 설계를 강조한다. 접근 방식은 다르지만, 더 효율적인 데이터 흐름으로 성능을 높인다는 방향은 같다.

의미와 영향

AI 칩 플랫폼의 평가 기준은 넓어지고 있다. 과거에는 GPU 속도, 메모리 용량, 전력 효율이 주로 비교 대상이었다. 앞으로는 데이터센터의 모든 구성 요소를 얼마나 높은 활용률로 유지할 수 있는지가 중요해질 전망이다. CPU, 스토리지 제어, 네트워크, 소프트웨어, 랙 단위 통합 설계는 와트당 실제 처리량과 AI 서비스의 전체 비용에 영향을 준다.

엔비디아에는 이 변화가 GPU 경쟁을 보완할 기회가 된다. 클라우드 사업자가 자체 가속기를 사용하더라도 대규모 시스템의 데이터 전송, 통신, 스케줄링 문제는 남는다. 엔비디아가 하드웨어와 소프트웨어 생태계를 함께 통합하면 시스템 수준의 우위를 유지할 가능성이 있다.

다만 우위가 확정된 것은 아니다. 칩 제조사와 하이퍼스케일러는 오케스트레이션 계층에서 경쟁할 수 있고, 데이터 이동 자체를 줄이는 아키텍처도 특정 작업에서 효과를 낼 수 있다. 경쟁의 질문은 이제 “누가 가장 빠른 GPU를 만드는가”에서 “누가 전체 AI 시스템의 대기 시간을 줄이고 더 효율적으로 작동시키는가”로 바뀌고 있다.

출처: TechCrunch AI