不確実なデコード時だけ重み精度を引き上げる推論手法

大規模言語モデルの推論では、通常、生成全体で使う重み精度を固定する。低ビットならメモリ帯域を節約できるが品質が不安定になり、高精度なら安定性を得られる代わりに読み出しコストが増える。本研究は、すべてのステップに同じ精度を割り当てるのではなく、不確実なステップだけ精度を上げる方式を検討した。

手法では重みを8ビットで保存し、最初は上位4ビットを使ってデコードする。その出力分布のエントロピーがしきい値を超える場合、または最上位候補と2番目の候補の差が小さい場合だけ、同じステップを8ビットで再実行する。対象はQwen3-0.6B、評価データはGSM8Kで、コストは1トークン当たりに読み出す重みのバイト数で測定された。

主な結果

• 36,724ステップの再生実験で、低精度のargmaxが高精度再計算後に反転するかどうかを、エントロピーはAUC 0.93で識別した。
• 精度引き上げ率が約15%の場合、エントロピーゲートは反転の78%、marginゲートは94%を検出した。同率のランダムゲートで期待される検出率は15%である。
• 150問の実行評価では、全8ビットが64.0%、全低精度が55.3%。約16%のステップを引き上げるエントロピーゲートは62.7%で、全高精度の約0.87倍の重み読み出し量だった。
• 全高精度との差は-1.3ポイント、区間は-8.0から+5.3ポイント。全低精度との差は+7.3ポイント、区間は0.0から+14.7ポイントで、どちらに対しても統計的に明確な差は出ていない。

この研究の重要な示唆は、不確実性を精度予算の配分信号として使える可能性だ。低精度と高精度が次のトークンで異なるかどうかはかなり予測できるため、不要な高精度読み出しを減らす手がかりになる。ただし、argmaxの反転は最終的な誤答と同じではない。あるトークンが変わっても、その後の生成が同じ最終回答に到達する可能性がある。したがって、評価の中心は反転検出率ではなく、同じバイト予算での最終正答率であるべきだ。

現時点の証拠には限界もある。同じコストの固定5ビットまたは6ビット方式との比較は報告されていない。こうした方式が、ゲート処理なしに同程度の平均ビット数を実現する可能性もある。また、実行時のランダム比較、思考過程に特化した段階ルール、別モデル、ライブのKL評価も行われていない。検証付きspeculative decodingが同じコストモデルで近いバイト数においてKLをゼロにできるという結果もあるが、それだけで本方式の優位性は決まらない。

実サービスでは連続バッチ処理も課題になる。単一ストリームなら必要なステップだけ高精度で読み直せるが、複数リクエストを同時処理する場合、1件の精度引き上げがバッチ全体の同期やスループットに影響する可能性がある。2種類の精度をVRAMに常駐させる必要や、追加の帯域・遅延も考慮しなければならないが、今回の結果には同時実行時の測定は含まれていない。

したがって本研究は、完成した最適化手法というより、適応的な推論制御の有望な出発点と見るのが妥当だ。今後は固定5/6ビット方式との厳密な同一予算比較、より大規模なタスク評価、同時リクエスト下の遅延・スループット・ピークメモリを測る必要がある。

出典：Hugging Face Daily Papers