Kimi K3登場：2.8T MoE、ネイティブ視覚、100万トークン文脈

導入

KimiチームはHugging Face Daily Papersで、新しいオープンウェイトモデル Kimi K3 を紹介した。論文の要約によれば、Kimi K3は2.8Tパラメータ規模のMixture-of-Experts（MoE）モデルであり、各トークンで1040億パラメータを活性化する。さらに、ネイティブな視覚機能と100万トークンのコンテキストウィンドウを備える。

この設計は、単に会話性能を高めるためのものではない。長い文書の処理、長期的なコード生成、エージェント実行、知識集約型の推論、視覚と言語をまたぐタスクなど、より実運用に近い複雑な用途を意識したモデルといえる。

主なポイント

• 大規模なMoE構成：Kimi K3は総パラメータ2.8Tだが、専門家ルーティングによって実際の計算量を制御する。Stable LatentMoEにより、896個のルーティング専門家のうち各トークンで16個を有効に活性化すると説明されている。
• 100万トークン文脈：長文脈対応の中核として、Kimi Delta AttentionとAttention Residualsが挙げられている。これらは長い系列と深いモデル層をまたぐ情報の流れを改善するための仕組みだ。
• ネイティブ視覚能力：Kimi K3はテキスト専用ではなく、視覚タスクを最初から対象に含む。これにより、知識、推論、コード、画像理解を横断する評価が可能になる。
• 強化学習による後処理：一般領域、エージェント領域、コーディング領域での強化学習が強調されている。複数の推論努力レベルを用意し、組み合わせ一般化と長期実行の安定性を高める狙いがある。
• システム面の改良：2.8T規模を支えるため、KDA向けのアルゴリズム・システム協調設計、専門家並列訓練の均衡化、メモリ管理、100万トークンのエージェントRLにおける永続的なrolloutとサンドボックス状態、デプロイ最適化が述べられている。

意義と影響

Kimi K3の意味は、パラメータ数の大きさだけではない。オープンウェイトモデルが、超長文脈、マルチモーダル、エージェント訓練、大規模MoEの実行という複数の難題を同時に扱う段階に入ったことを示している。論文は、Kimi K2に比べて全体的なスケーリング効率が約2.5倍改善したと述べている。

評価では、長期コーディング、エージェント、知識、推論、視覚の各タスクでフロンティア水準に達したとされる。一方で、全体性能はClaude Fable 5やGPT-5.6 Solといった最強の専有モデルにはまだ及ばないとも明記されている。それでも、評価スイート内では他のオープンモデルおよび専有モデルを一貫して上回ったという主張は注目に値する。

完全なモデルウェイトが公開されることで、研究者や開発者は結果の再現、長文脈エージェントの検証、コード支援システムやマルチモーダル応用の構築を進めやすくなる。Kimi K3は、オープンなフロンティアAI研究の重要な基準点になり得る。

出典：Hugging Face Daily Papers