記事一覧へ戻る

QDA、エージェントでLLM量子化レシピを自動探索

読了目安 3 分

大規模言語モデルの量子化は、推論コストを下げる一般的な手段だ。しかし、どの量子化手法をどう組み合わせるべきかは、モデルや目標精度によって変わる。モデルが変わるたびに専門家が手作業で設計し直すのは時間がかかり、最適な構成にたどり着けるとも限らない。QDA(Quantization Design with Agents)は、エージェントが後学習量子化のレシピを提案し、構築と評価を繰り返して改善する仕組みだ。

評価を短縮し、探索を回す

QDAの基本サイクルは、レシピの提案、量子化モデルの構築、結果の測定、次の変更の決定というもの。工夫の中心は、各候補を評価する時間を減らし、現実的な時間内に多くの案を試せるようにすることにある。

  • KLダイバージェンスで候補を素早く比較。 量子化モデルと元モデルの出力分布を、推論トレース上で比較する。このトレースはエージェントには公開されない。1回のスコア算出は数分で、推論モデルの本格評価に必要となる数十GPU時間に比べて短い。
  • 有望な候補は長い生成でも検査。 分布の差を示すスコアだけでは、タスク性能や生成時の不具合をすべて判断できない。そのためQDAは、選んだ候補に長い生成を行わせ、同じ文を繰り返すループなどを確認する。
  • 手法を組み合わせやすくする。 21種類の公開後学習量子化手法を収録したライブラリを備え、異なる順序で組み合わせられる。新しいモデルアーキテクチャへの対応も想定している。論文によると、8時間の探索で最大36候補を評価できる。

実験結果と導入への示唆

4つの推論モデルでは、最も強い公開レシピに対し、平均精度がW4A16で0.9ポイント、W4A8で1.4ポイント、W3A16で2.2ポイント向上した。探索1回あたりの計算量は64 GPU時間とされる。3200億パラメーターのGLM-5.3-FlashをNVFP4(W4A4)で量子化した実験では、6.5時間、69ドルの探索でFP8モデルの精度の98.3%に達した。論文が比較対象とする最良のベンダーチェックポイントは96.9%だった。また、同じエージェントにQDAではなくNVIDIA ModelOptのツールを与えた場合、Qwen3.6-35Bで0.5~1.3ポイント下回ったという。エージェントだけでなく、利用するツール群も探索結果に関わることを示す報告だ。

意義は、モデルごとの手作業による調整を、再利用可能な自動探索へ置き換えようとした点にある。一方、KLスコアは候補を絞るための指標であり、長い生成を含む検証は引き続き必要だ。限られたモデルでの結果から、あらゆる構成で同じ改善が得られるとも言えない。論文は、生成したチェックポイントが既存の推論カーネルで動き、推論時の追加オーバーヘッドがないとしている。探索にはGPU時間が必要で、エージェントのトークン費用は1回19~75ドルと報告されている。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
200万件の「カナリア」で判明、AI推論サプライチェーンの情報漏えいリスク
推論・デプロイ
cctest.ai
推論・デプロイ

200万件の「カナリア」で判明、AI推論サプライチェーンの情報漏えいリスク

研究者が追跡可能な偽の秘密情報を約200万件のAIリクエストに埋め込み、認証情報の悪用やプロンプトの記録、プライバシー設定に反するURL収集を確認しました。

続きを読む