記事一覧へ戻る

Tencent、Hy4の重みを公開 7700億パラメーターのMoEモデル

読了目安 3 分

Tencent混元チームは11月20日、Hy4のモデル重みを公開し、システムカードも発表した。公式説明によると、Hy4はテキスト、画像、動画の理解を扱い、言語バックボーンの総パラメーター数は7700億、トークンごとの活性化数は490億。コンテキスト長は104万8576トークンとされる。公開資料にはモデル仕様のほか、アーキテクチャ、想定用途、各種評価結果も含まれている。ただし、評価の多くは開発元によるものであり、実用上の能力を判断するには第三者による再現も重要だ。

主なポイント

  • 疎に活性化するMoE構成: Hy4は全78層。最初の層は通常の密なFFNで、残る77層はMoEを採用する。各MoE層には256個のルーティング専門家と1個の共有専門家があり、各トークンでルーティング専門家8個と共有専門家が使われる。
  • 長いコンテキストと疎注意: Gated DeepSeek Sparse Attentionを採用し、IndexCacheで層をまたいだ疎インデックスの再利用を行う。公式仕様では最大104万8576トークンに対応する。ただし、この上限だけで長文タスクの品質が保証されるわけではなく、入力内容や推論設定、提供環境によって実際の結果は変わる。
  • 画像・動画処理と推測デコード: 視覚エンコーダーは画像の動的解像度に対応する。画像や動画フレームの特徴はアダプターを介して視覚トークンに変換され、テキストとともに処理される。また、推測デコード向けに33億パラメーターのDFly2を搭載し、KVキャッシュと疎インデックスを再利用する。追加コストを低く抑える設計だとTencentは説明するが、実際の処理速度は環境に左右される。
  • 幅広い用途を提示: コンピューター操作、フロントエンドやゲーム開発、金融・オフィス業務、科学研究、長期的なタスクが用途として挙げられている。テキストとマルチモーダルのベンチマーク結果も公開されたが、社内評価の順位を異なる組織や実環境にそのまま当てはめることはできない。

評価結果の見方

公開表では、Hy4 Baseが知識、推論、マルチモーダルの一部のテストで高いスコアを示している。一方、ベンチマークごとに課題の内容、サンプル数、採点方法は異なり、単一の数値でモデル全体の能力を表すことは難しい。Tencentは、ベースモデルが中間学習で大量の合成指示データを取り込んでおり、少数例評価で期待される回答形式に従えない場合があるため、結果に影響し得るとも説明している。また、表の最高スコアは統計的有意性を意味しない。金融分野の結果も、特定の業務環境と専門家評価に基づくものとして読む必要がある。

公開の意味

重みが公開されたことで、研究者や開発者はHy4を調査、デプロイ、追加調整し、長コンテキストやマルチモーダル、疎活性化の設計を実環境で検証できるようになった。一方、総パラメーター数7700億という規模は、運用に大きな計算資源とエンジニアリングを要することも示す。1トークンあたりの活性化数が490億であっても、保存や推論のコストが小さいとは限らず、必要資源は重みの精度、ハードウェア、推論ソフトウェアなどに左右される。今後は第三者による再現性、長文理解の安定性、動画理解の品質、推論コスト、ライセンス条件が注目点となる。

出典:Web Search

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
Thinking Machines、ローカル実行を狙う「Inkling 2 Mini」を公開
モデルリリース
cctest.ai
モデルリリース

Thinking Machines、ローカル実行を狙う「Inkling 2 Mini」を公開

Thinking Machines Labが、エージェント型コーディングとローカル利用を想定したオープンウェイトモデル「Inkling 2 Mini」を公開した。中間層を繰り返し計算する循環型Transformerを採用する一方、ベンチマーク結果は評価条件と併せて見る必要がある。

続きを読む
CCTest · Blog
Gemini 4 Hydrogen発表、高速な実行型AIエージェントを狙う
モデルリリース
cctest.ai
モデルリリース

Gemini 4 Hydrogen発表、高速な実行型AIエージェントを狙う

Google DeepMindが、日常的なコーディングやツール利用、エージェント型ワークフロー向けのGemini 4 Hydrogenを発表した。100万トークン級のコンテキストと4段階の思考レベルを備え、速度と運用コストの両立を目指す。

続きを読む
CCTest · Blog
Gemini 4 Carbon公開、深い推論とマルチエージェント協業を強化
モデルリリース
cctest.ai
モデルリリース

Gemini 4 Carbon公開、深い推論とマルチエージェント協業を強化

Google DeepMindがGemini 4 Carbonを開発者、企業、研究者、一般利用者向けに公開した。複雑なコーディング、科学研究、サイバーセキュリティ、長時間のエージェント作業を主な対象とする。

続きを読む