Gated DeltaNetが4ビット量子化に耐える理由

導入

ハイブリッド大規模言語モデルでは、Softmax Attentionが柔軟なトークン間相互作用を担い、Gated DeltaNet（GDN）のような線形アテンションが固定サイズの再帰状態によって過去の文脈を要約する。GDNは文脈長に対して状態サイズを一定にできる一方、各時刻の状態が次の計算へ渡される。そのため、量子化誤差が長い文脈で蓄積するのではないかという懸念があった。

Hugging Face Daily Papersで紹介された研究は、この前提をQwen3.8-27Bで検証した。同モデルは48個のGDN層と16個のアテンション層を持つ。研究者は量子化認識学習や蒸留を使わず、キャリブレーションだけのPTQで、496個すべての線形層をNVFP4 W4A4へ変換した。

主なポイント

• BF16に近い品質を維持した。 4Kおよび32Kでのパープレキシティに加え、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBenchを評価したところ、結果はBF16のシードによる揺らぎに近い範囲だった。5タスク平均の差は-0.52と報告され、RULERの検索評価は64Kまで実施された。
• ゲート投影は予想より頑健だった。 GDNの減衰ゲートと書き込み強度ゲートにはsoftplus、指数、sigmoidなどのパラメータ化が使われる。約11%のGEMM誤差がゲート出力では約2%に圧縮され、敏感だと思われていた層が実際には影響を受けにくかった。
• 再帰状態のノイズは増え続けなかった。 デルタ則は現在のkey方向に沿って状態を書き換える。単純に誤差を永続的に加算する仕組みではないため、注入された状態インパルスは数百ステップ以内に忘れられ、32Kトークンではノイズが平坦な水準にとどまった。位置が進むほどパープレキシティ差が縮む傾向も観測された。
• ブロック単位のスケーリングが重要だった。 NVFP4は16要素ごとにスケールを持つため、残差ストリームの極端な外れ値を局所的に処理し、層の役割による活性化誤差の偏りを抑えられる。
• 推論カーネルには注意が必要だ。 GDN投影を一つのGEMMへ融合しながら、モジュール別に校正したスケールをそのまま使うと、全体スケールの不一致が発生する可能性がある。公開チェックポイントはこの問題を修正済みだという。

意義

vLLM、TP=1、96 GBのBlackwell GPU 1枚という同一条件では、Minimaの重み容量は約17.5 GiBで、BF16の約2.9分の1だった。GDNとアテンションを高精度のまま残す比較方式に対して、プリフィルは14～19%高速だったと報告されている。

この結果は、再帰型層を機械的に高精度で保護するのではなく、数値形式、ゲートの非線形性、状態更新則を一体として評価すべきことを示す。ただし、すべての線形アテンションモデルが4ビット化できるという意味ではない。実運用では、長文脈の品質、融合カーネルのスケール処理、推論フレームワークとの互換性を個別に確認する必要がある。

出典：Hugging Face Daily Papers