아티클 목록으로

칭먀오, 화웨이 어센드와 1만 카드 토큰 공장 추진

약 3분 소요

AI 인프라의 경쟁 기준은 설치된 카드 수에서 실제로 안정적으로 제공할 수 있는 유효 토큰의 양으로 옮겨가고 있다. 칭먀오 인텔리전트는 화웨이 어센드 생태계 파트너들과 어센드 950DT 토큰 공장 공동 운영 계획을 발표했다. 2027년 1만 카드급 운영을 추진하고, 향후 5년 동안 여러 지역과 칩을 아우르는 10만 카드급 네트워크를 구축한다는 목표다. 단순히 장비를 모으는 것이 아니라 흩어진 연산 자원을 측정하고 검수할 수 있는 추론 서비스로 묶는 것이 핵심이다.

역할을 나누는 공동 운영

공개된 구상은 한 기업이 건설과 운영을 모두 맡는 방식과 다르다. 어센드 생태계는 칩과 슈퍼노드 제품, 기술 협력을 제공하고, 데이터센터는 시설과 전력, 연산 자원을 담당한다. 모델 및 트래픽 파트너는 실제 수요를 제공하고 서비스 품질 검수에 참여한다. 칭먀오는 소프트웨어 최적화, 클러스터 스케줄링, 통합 계량과 운영을 맡는다. 참여사들은 토큰 산출과 서비스 수준 협약(SLA)을 기준으로 책임과 수익 배분을 정할 계획이다. 초기 협력사로는 베이징 즈위안 인공지능 연구원, 상하이 데이터항, 중국텔레콤 후베이 지사 등이 소개됐다.

칭먀오에 따르면 회사는 20곳 이상의 연산센터와 운영을 진행하고, 국산 카드 약 2만 장을 스케줄링했으며, 15종 이상의 국산 칩을 최적화했다. 어센드 910C 슈퍼노드 약 10세트의 도입도 추진해 왔다고 밝혔다. 또 어센드 950 연산 자원이 우한과 우후 등의 데이터센터에 설치됐다고 설명했다. 이는 회사가 밝힌 운영 기반이며, 1만 카드 계획이 이미 완성됐다는 뜻은 아니다.

카드 수보다 중요한 실사용 성능

국산 칩은 아키텍처와 소프트웨어 스택이 서로 달라 새 모델을 적용할 때 호환성 검토와 튜닝이 필요하다. 실제 요청은 길이와 동시 처리량, 캐시 수요가 계속 달라지며, 에이전트 애플리케이션은 모델을 연속 호출하기도 한다. 모델이 실행된다는 사실만으로 처리량, 첫 토큰 지연, 안정성, 비용에 대한 고객 요구를 충족한다고 볼 수 없다. 모델 적응과 자원 배분, 서비스 품질 검증을 함께 운영해야 한다.

칭먀오는 추론 엔진과 연산 자원 관리 플랫폼을 결합해 동적 스케줄링, 4단계 KV 캐시, 연산자 최적화와 분산 병렬화를 적용한다고 밝혔다. 회사 발표에 따르면 일부 환경에서 캐시 적중률은 최대 99%였고, 연산 자원 이용률은 30~40%에서 약 80%로 높아졌다. 특정 MoE 연산자의 성능은 84배 향상됐으며, 클러스터의 분당 토큰 처리량은 4,000만에서 1억4,000만으로 늘었다고 한다. P99 첫 토큰 지연은 180초에서 40초로 줄었다는 설명이다. 모두 회사가 공개한 수치로, 시험 조건과 작업 부하에 따라 비교 가능성이 달라질 수 있어 일반적인 성능으로 간주해서는 안 된다.

의미와 검증 과제

공동 운영은 자체 장비 구매와 데이터센터 건설만으로 확장하는 대신, 여러 기업의 자원과 운영 역량을 묶어 서비스를 넓히는 경로를 제시한다. 그러나 1만 카드와 10만 카드 규모는 아직 계획상의 목표다. 지속적인 부하에서도 SLA를 지키고, 유효 토큰 100만 개당 비용을 통제하며, 다양한 칩과 모델을 안정적으로 지원할 수 있는지가 관건이다. 국산 연산 자원의 가치는 카드 수나 최고 성능보다 반복 가능한 서비스 제공으로 입증돼야 한다.

출처: 量子位

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물