記事一覧へ戻る

清昴智能、昇騰と1万カード規模のToken工場を計画

読了目安 3 分

AIインフラの評価軸は、搭載カード数から、実際にどれだけの有効なTokenを安定して提供できるかへ移りつつある。清昴智能は華為昇騰のエコシステム企業などと、昇騰950DTを使うToken工場の共同運営計画を発表した。2027年に1万カード規模の運営を進め、今後5年間で複数地域・複数チップにまたがる10万カード規模のネットワークを目指すという。狙いは設備の集積だけではなく、分散した計算資源を計測・検収可能な推論サービスにまとめることだ。

分担して運営する仕組み

発表された構想では、単独企業がすべてを建設・運営するのではなく、参加者が役割を分ける。昇騰エコシステムはチップやスーパーノード製品、技術面の連携を担い、データセンターは施設、電力、計算資源を提供する。モデルやトラフィックの提供者は実際の需要を持ち込み、サービス品質の検収にも参加する。清昴智能はソフトウェア最適化、クラスタースケジューリング、統一計測、運営を担当する。Tokenの実績とSLAを軸に責任や収益分配を定める方針で、初期パートナーには北京智源人工知能研究院、上海データ港、中国電信湖北分公司などが含まれる。

清昴智能によると、同社は20超の計算センターと運営に取り組み、約2万枚の国産カードをスケジューリングし、15種類超の国産チップを最適化してきた。また、昇騰910Cのスーパーノード約10セットの導入を進め、昇騰950の計算資源も武漢や蕪湖の施設に導入したという。これらは同社が説明する実績であり、1万カード計画がすでに完成したことを意味しない。

カード数だけでは測れない

国産チップはアーキテクチャやソフトウェア基盤が異なり、新モデルの導入には互換性確認や調整が必要になる。実際のリクエストは長さや同時実行数、キャッシュ需要が変動し、エージェントではモデル呼び出しも連続する。モデルが動くことと、顧客が求める処理量、初回Tokenまでの遅延、安定性、コストを満たすことは別問題だ。モデル適応、資源配分、サービス品質の検証を一体で進める必要がある。

清昴智能は推論エンジンと計算資源管理基盤を組み合わせ、動的スケジューリング、4段階のKV Cache、演算子最適化、分散並列化を行うとしている。同社発表では、一部用途でキャッシュ命中率が最大99%、利用率が30~40%から約80%へ上昇した。特定のMoE演算子は84倍、クラスタの毎分Token処理量は4000万から1億4000万に向上し、P99の初回Token遅延は180秒から40秒に短縮したという。いずれも同社公表値で、試験条件や負荷によって比較可能性は異なるため、一般的な性能値とはみなせない。

意義と今後の検証

共同運営モデルは、設備を自社で買い増すだけでなく、複数の資源と運用能力を束ねてサービスを広げる道を示す。一方、1万カードや10万カードは現時点では計画上の目標だ。継続的な負荷の下でSLAを守り、有効な100万Tokenあたりのコストを抑え、複数のチップやモデルを安定運用できるかが問われる。国産計算資源の価値を示すのは、カード数やピーク性能より、再現性のあるサービス提供となる。

出典:量子位

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
200万件の「カナリア」で判明、AI推論サプライチェーンの情報漏えいリスク
推論・デプロイ
cctest.ai
推論・デプロイ

200万件の「カナリア」で判明、AI推論サプライチェーンの情報漏えいリスク

研究者が追跡可能な偽の秘密情報を約200万件のAIリクエストに埋め込み、認証情報の悪用やプロンプトの記録、プライバシー設定に反するURL収集を確認しました。

続きを読む