윈톈리페이의 추론 칩 로드맵, 핵심은 피크 성능보다 Token 비용

도입

대형 모델이 시연을 넘어 실제 서비스에서 대규모로 호출되기 시작하면서, 추론 비용은 AI 인프라의 핵심 지표가 되고 있다. 윈톈리페이는 WAIC에서 향후 2년여를 겨냥한 AI 추론 칩 로드맵을 발표했다. DeepVerse100P, DeepVerse100D, DeepVerse100L 세 칩을 각각 Prefill, Decode, Decode 단계의 FFN에 맞춰 설계하고, 만 카드급 이기종 클러스터에서 함께 운용하겠다는 내용이다.

핵심 내용

• 추론 단계를 더 세밀하게 나눈다. Prefill은 입력 컨텍스트를 한꺼번에 처리하므로 긴 컨텍스트에서 계산 부하가 크다. Decode는 Token을 하나씩 생성하기 때문에 메모리 대역폭, 데이터 접근 효율, 꼬리 지연에 더 민감하다. MoE 같은 구조가 확산되면서 Decode 내부의 Attention과 FFN도 서로 다른 자원 특성을 보인다.
• 세 칩은 서로 다른 병목을 겨냥한다. DeepVerse100P는 백만 단위 컨텍스트 Prefill을 대상으로 하며, 장문 처리와 생성 단계가 같은 자원을 공유할 때 발생하는 간섭을 줄이는 데 초점을 둔다. DeepVerse100D는 Decode 전용 추론 엔진으로, 주류 칩보다 높은 메모리 대역폭, 1024카드 Scale-up, 광 인터커넥트 구조를 강조한다. DeepVerse100L은 Decode FFN을 겨냥하며, 3D Memory 구조와 저지연 칩 간 연결로 계산과 통신의 병렬 효율을 높이려 한다.
• 전략의 중심은 클러스터 효율이다. 윈톈리페이는 단일 칩의 피크 성능만을 앞세우기보다, Prefill·Decode·FFN을 별도 자원 풀로 분리하고 고속 인터커넥트로 연결하는 방식을 제안한다. 목표는 Token 생성 전체 과정에서 자원 충돌을 줄이고 클러스터 활용률을 높이는 것이다.
• 소프트웨어 스택이 관건이다. IFWA는 PyTorch ATen, vLLM, SGLang 등 주류 인터페이스와 프레임워크 지원을 강화하고, 양자화, 압축, 컴파일, 배포 도구를 제공한다. 회사는 Houmao 다중 Agent 이기종 프로그래밍 프레임워크의 오픈소스화와 Triton 연산자 역량의 FlagOS 통합도 언급했다.

의미와 영향

이번 로드맵은 AI 추론 칩 경쟁이 단순한 연산 성능 비교에서 벗어나고 있음을 보여준다. 컨텍스트가 길어지고 Agent형 업무 흐름이 복잡해질수록 계산, 메모리, 네트워크에 걸리는 압력은 균일하지 않다. 단계별 전용 칩과 이기종 클러스터는 이런 불균형을 줄이고 Token 생성 안정성을 높일 가능성이 있다.

하지만 이 접근은 운영 난도도 높인다. 모델 이전, 연산자 최적화, 컴파일러, 통신 구조, 클러스터 스케줄링이 함께 성숙해야 실제 비용 절감으로 이어질 수 있다. 윈톈리페이가 제시한 “백억 Token 1펀”이라는 장기 목표는 확정된 성과라기보다, 국산 AI 컴퓨팅이 단순히 “쓸 수 있는” 단계를 넘어 “쉽고 저렴하게 대규모로 쓸 수 있는” 인프라로 가야 한다는 방향을 보여준다.

출처: InfoQ 中文