記事一覧へ戻る
フレームワーク・ツール

純粋なJAX約190行でDeepSeek-V3の主要構成を再現

読了目安 4 分

導入

大規模モデルの論文を読む際、研究上のアイデアと、学習・分散処理のための大規模な実装を切り分けるのは容易ではない。deepseek-v3-jax はこの問題に対し、DeepSeek-V3技術報告に登場する主要な構成要素を、空白行とコメントを除いて約190行の純粋なJAXで表現した。

Flax、Equinox、PyTorchには依存せず、パラメータは配列の辞書として保持する。モデル本体を上から順に読めることが特徴で、データ作成、学習、評価、生成、図表、テストのスクリプトも公開されている。目的は高性能モデルの提供ではなく、論文の仕組みを手元で動かして理解するための実験である。

主なポイント

  • Multi-head Latent Attention(MLA):完全なキーとバリューを保存する代わりに、トークンごとに小さな潜在表現をキャッシュする。公開構成では、キャッシュ量を1トークンあたり480個から144個へ削減している。回転位置埋め込み用のキーは圧縮潜在表現の外に分離される。
  • DeepSeekMoE:常に動作する共有エキスパートを1つ置き、16個のルーティング対象から4つを選ぶ。可読性を優先するため、すべてのエキスパートを計算して未選択の出力をゼロ化しており、本番向けの疎な分散実行ではない。
  • 負荷均衡:専門家ごとのバイアスが、利用されていない専門家を選びやすくする。専門家の重み自体は変更しない。また、論文にある系列単位の均衡損失も実装している。
  • マルチトークン予測:追加モジュールが1つ先の次のトークンを予測し、その損失を重み0.3で加える。
  • ローカル学習:標準構成は3620万パラメータで、トークンごとの有効パラメータは約1360万。207冊のパブリックドメイン探偵小説から約2170万の学習トークンを作り、24GBのMacBook Air M5で1万2000ステップを約2.6時間で学習した。速度の中央値は毎秒約1.07万トークンだった。

結果と限界

検証損失は、ステップ250の5.02から最終報告値の3.51まで低下した。ステップ2000では、ルーティング・バイアスを有効にした場合の専門家利用率が5.7%から6.9%に収まり、理想値6.25%に近づいた。無効にすると0.09%から18.6%まで広がった。一方、同じステップでの検証損失は、バイアス有効時3.921、無効時3.923とほぼ同じだった。今回の規模では、主な効果は損失改善ではなく利用率の均一化にある。

実装には明確な簡略化もある。MoEは真の疎行列計算ではなく、MLAの重み吸収も行わない。推論時には潜在表現を明示的に展開する。FP8学習、DualPipe、ノード制限ルーティング、YaRNなども含まれないため、完全な本番版DeepSeek-V3の再実装と見るべきではない。

意義

このプロジェクトの価値は、複雑な設計を検証可能な小さなコードにした点にある。キャッシュ、専門家ルーティング、均衡化、キャッシュ付き生成がどのようにつながるかを直接確認でき、公開された比較実験も再現できる。

同時に、研究アイデアの簡潔なプロトタイプと、実際に大規模・高速に動かすシステムは別物だと示している。後者には疎なディスパッチ、並列学習、低精度計算、基盤設備が必要になる。JAXやMoEを学ぶ人にとっては、新しい基盤モデルというより、測定結果を伴う実行可能な技術解説と位置づけるのが適切だ。配布チェックポイントはPython pickle形式のため、信頼できる入手元からのみ読み込む必要がある。

出典:Hacker News

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
DeepSeek、検索・音声・OCRなどのアプリ機能APIを開放
フレームワーク・ツール
cctest.ai

DeepSeek、検索・音声・OCRなどのアプリ機能APIを開放

DeepSeekは、公式アプリで利用されてきたウェブ検索、ページ取得、OCR、音声認識、音声合成などの機能をAPIとして開放しました。各機能は個別に呼び出せるため、開発者は必要な部品だけを組み合わせて独自サービスを構築できます。

続きを読む
CCTest · Blog
GoogleのLiteRT Tensor API、エッジAI最適化を計算グラフへ
フレームワーク・ツール
cctest.ai

GoogleのLiteRT Tensor API、エッジAI最適化を計算グラフへ

Googleは、エッジデバイス上で機械学習モデルを構築、カスタマイズ、最適化できる軽量なC++ API「LiteRT Tensor」を発表した。計算グラフの制御性を保ちながら、CPU、GPU、NPU間の移植性を高めることを狙う。

続きを読む