SoloQ、拡散言語モデル向けのキャリブレーション不要量子化を提案

導入

拡散言語モデルは、自己回帰モデルとは異なり、マスクされたトークンやノイズを含むトークン列を双方向に更新しながら文章を生成します。この方式は新しい生成経路を提供する一方、推論コストという課題も抱えています。全系列型の拡散モデルでは、複数のデノイジング段階で高コストな前向き計算を繰り返します。ブロック拡散モデルでは、生成済みブロックに対応する KV キャッシュを保持する必要があり、シーケンスが長くなるほどメモリ負荷が増します。

低ビットの重み・活性値量子化は、この負荷を抑える有力な手段です。しかし拡散モデルでは、マスクの状態やデノイジングの段階によって活性値の分布が変化します。特定の入力データから集めたキャリブレーション情報が、すべての推論状態を代表するとは限りません。SoloQ は、この問題に対して、分布を予測しやすい表現を先に作るという方針を採用します。

SoloQ の主な仕組み

• 正規化された回転基底：重みと活性値を正規化された回転基底へ写像し、回転後の周辺分布を扱いやすくします。これにより、実行時データに依存しない量子化設計を可能にします。
• 構造化 K-RPBH 回転：構造化された K-RPBH 回転に、軽量な再スケーリング補正を組み合わせます。量子化誤差を抑えながら、変換に伴う負担を小さくする設計です。
• 複数の数値形式への対応：予測しやすい分布を利用して、分布に合わせたコードブックだけでなく、ハードウェアネイティブな NVFP4 も利用できます。
• KV キャッシュのコミット時量子化：ブロック拡散では、現在デノイジング中のブロックを直接量子化せず、ブロックが確定した時点で持続的な KV 状態を圧縮します。現行ブロックへの干渉を避けつつ、キャッシュ容量の削減を狙います。

結果と意味

素材によれば、SoloQ は LLaDA と Dream のような全系列型モデル、Fast-dLLM v2 と Nemotron-Labs-Diffusion のようなブロック拡散モデルで評価されています。4ビット量子化でも精度を維持し、知識や推論を重視するベンチマークでは、比較対象のキャリブレーションベース手法を上回ったとされています。NVFP4 では、ピークメモリを最大 2.61 倍削減し、エンドツーエンド推論を最大 2.24 倍高速化したと報告されています。

この研究の意義は、量子化を単なる重み圧縮として扱っていない点にあります。拡散モデルでは、活性値の変化、反復デノイジング、持続的な KV 状態をまとめて考える必要があります。SoloQ は、統計的な変換、キャッシュ管理、ハードウェア形式を一つの枠組みに組み込み、校正データの収集と維持に伴う負担を減らそうとしています。

もっとも、提示された要約には、各モデル、タスク、ハードウェア条件ごとの詳細結果は含まれていません。そのため、実際の速度やメモリ削減幅は実装環境によって変わる可能性があります。それでも、SoloQ は拡散言語モデルを実用的な低ビット推論へ近づける、システム志向の量子化設計として注目されます。

出典：Hugging Face Daily Papers