4ビットLLMをどう「修復」するか：QATの課題を避けるQAH

大規模言語モデルを安価に提供する際には、通常二つの圧縮が組み合わせられる。まずパラメータ数を減らし、次に残った重みを低ビットで表現する方法だ。これによりメモリ使用量や推論コストは下がる一方、推論、数学、コード生成、長文脈処理などの能力が損なわれる可能性がある。そのため、圧縮後にはモデルを新しい構造と数値表現に適応させる「修復」工程が必要になる。

一般的な手法は量子化認識学習（QAT）である。低ビット重みを訓練中にシミュレートし、圧縮されたモデルをハードラベルに合わせて再調整する。しかし今回のパイプラインでは、QATは収束が遅く、最良点を過ぎると性能が崩れる現象も確認された。実運用では、特定のチェックポイントだけが良いモデルより、追加学習を続けても性能を維持できるモデルの方が扱いやすい。

論文は、教師モデルの選び方にも問題があると指摘する。構造的に圧縮されたモデルは、完全な全精度モデルとして独立に訓練されたものではない。そのbfloat16チェックポイントも、元モデルから回復された近似とみなせる。4ビット学生をこの中間モデルだけに合わせると、中間モデルがすでに失った能力まで引き継ぐ可能性がある。

Quantization-Aware Healing（QAH）は、ここを変更する。QAHでは、4ビット学生モデルを圧縮後の中間モデルではなく、元の非圧縮モデルから直接蒸留する。学生は、教師が示す出力分布を学びながら、少ないパラメータ数と量子化された重みという制約にも適応する。つまり、単純なハードラベル再学習よりも、圧縮による能力低下を戻すことに近い目的になる。

実験ではGPT-OSS 120Bを60Bへ圧縮し、さらにMXFP4へ量子化した。公開された学生モデルHypernova-60Bは、教師の約半分のパラメータ数で、重みメモリを約4分の1に抑える。9種類のベンチマークのうち7種類で、bfloat16の元モデルと同等以上の結果を示した。これは低ビットモデルが常に全精度モデルを上回るという意味ではないが、圧縮による損失が必ずしも不可逆ではないことを示す。

要点：

• QAHは元の非圧縮モデルを蒸留教師にする。
• 対応するQATより、同程度のピーク性能に約7倍速く到達した。
• 継続学習中も安定し、手作業による早期停止への依存を減らせる。
• 分散学習バックエンドの違いによって、再現性のある大きな品質差が生じた。

この研究の価値は、単一のモデルのスコアだけでなく、圧縮モデルを実際に仕上げるための手順を示した点にある。学習率やスケジュールを長期間調整し、最良チェックポイントを探す作業を減らすことが狙いだ。論文に関連する議論では、著者らは元モデル提供者の訓練コーパスを利用できない場合が多く、高品質な公開データとタスク別データを組み合わせていると説明している。ただし、これは複数のオープンモデルでの実践経験であり、あらゆるモデルに適用できる保証ではない。

導入を検討するチームは、最高スコアだけでなく、継続学習時の安定性、データ構成への依存、分散学習基盤の影響、実際の業務データでの性能を確認する必要がある。QAHは4ビットLLMの回復に向けた有力なレシピだが、アーキテクチャや圧縮率が変わった場合の効果は、追加検証が必要だ。

出典：Hugging Face Daily Papers