기업 AI 컴퓨트 투자, 비용 가시성을 앞질러 확대

도입

기업의 AI 활용은 실험을 넘어 인프라 투자 단계로 이동하고 있다. 그러나 VentureBeat Pulse Research가 107개 기업을 대상으로 조사한 내용은 중요한 불균형을 보여준다. 기업들은 AI 컴퓨트를 빠르게 구매하고 있지만, 그 비용을 정확히 측정하고 관리하는 능력은 그 속도를 따라가지 못하고 있다.

이 연구는 이를 “AI compute gap”, 즉 컴퓨트 격차로 설명한다. 이는 단순히 GPU가 부족하다거나 클라우드 비용이 높다는 의미가 아니다. 기업이 AI를 확장하면서 기반이 되는 연산 자원의 경제성을 얼마나 볼 수 있고, 조정할 수 있으며, 최적화할 수 있는가의 문제다.

핵심 포인트

• 프로덕션 성숙도는 아직 제한적이다. 조사 대상 중 AI를 프로덕션 환경에서 대규모로 운영하는 기업은 약 21%에 불과하다. 대부분은 파일럿, 부분 배포, 초기 확장 단계에 머물러 있다.
• 지출 계획은 성숙도보다 빠르게 움직인다. 대규모 운영 비중은 낮지만, 많은 기업이 1년 안에 AI 인프라 공급자를 추가하거나 전환할 계획을 갖고 있다. 일부는 한 분기 안의 변화도 검토하고 있다.
• 현재 기반은 익숙한 조합이다. 많은 조직은 하이퍼스케일 클라우드와 모델 제공업체 API 위에서 AI를 운영한다. 반면 다음 예산은 현재 널리 쓰이지 않는 특화 컴퓨트 옵션으로 향하고 있다.
• 구매 기준은 토큰 단가만이 아니다. 기업은 표면적인 가격보다 통합 난이도, 총소유비용, 운영 적합성을 더 중시한다. AI 비용은 단순한 가격표만으로 판단하기 어렵기 때문이다.
• 비용 가시성이 부족하다. 자료에 따르면 GPU 활용률은 절반 이하에 머무는 경우가 있으며, 실제 컴퓨트 비용을 엄격하게 추적하는 기업은 절반 미만이다. 이는 유휴 자원, 비효율적 스케줄링, 보이지 않는 추론 비용으로 이어질 수 있다.

의미와 영향

이번 조사는 기업 AI 도입의 초점이 바뀌고 있음을 보여준다. 이제 핵심 질문은 모델을 쓸 수 있는가, 예산이 있는가에 그치지 않는다. AI를 규모 있게 운영하기 위한 컴퓨트를 측정 가능하고 최적화 가능한 생산 자원으로 관리할 수 있는지가 중요해졌다.

비용 가시성이 부족한 상태에서 인프라 투자를 계속 확대하면, 단기적으로는 클라우드 사업자, 칩 공급업체, 특화 인프라 플랫폼에 기회가 될 수 있다. 하지만 중장기적으로는 재무, 조달, 기술 조직의 검증 압력이 커질 가능성이 높다.

기업이 토큰 단가보다 총소유비용을 중시하기 시작했다는 점도 주목할 만하다. 실제 AI 경제성에는 학습, 미세조정, 추론, 데이터 이동, 통합, 모니터링, 운영 비용이 모두 포함된다. 단가가 낮아 보여도 활용률이 낮거나 전환 비용이 크다면 총비용은 줄어들지 않는다.

따라서 향후 AI 인프라 경쟁은 단순히 더 많은 컴퓨트를 제공하는 데서 끝나지 않을 것이다. 누가 더 투명하게 비용을 보여주고, 더 높은 활용률을 만들며, 더 쉽게 관리할 수 있게 하느냐가 차별화 요소가 된다. 기업 입장에서는 다음 구매를 서두르기 전에 비용 측정, 활용률 모니터링, 공급자 평가 체계를 먼저 정비해야 한다.

출처: VentureBeat AI