Sable、LLM推論の結果をビット単位で検証可能に

概要

ホスティングされた大規模言語モデルを利用する場合、利用者は通常、サービス側が正しいモデルを実行し、正しい計算によって回答を生成したと信頼する必要があります。Sable（Small-Field Argument for Bit-Exact LLM Execution）は、この信頼を検証可能な主張へ変えようとするシステムです。コミット済みの重み、入力プロンプト、出力列が与えられれば、検証者は推論を行ったGPUを再実行せず、各トークンと停止位置までがモデルの計算結果であることを確認できます。

仕組みのポイント

Sableは通常のBF16推論に後から証明を付けるのではなく、浮動小数点処理を含まない固定の整数関数F_Oを定義します。丸め、正規化、Softmax、サンプリングの判断はすべて入力から決まり、実行結果を離散的かつ再現可能なものにします。これにより、ハードウェアやソフトウェアの違いによる浮動小数点演算の曖昧さを避けられます。

制約系は31ビットのKoalaBear素体上で構成され、中間値が法を超えて回り込まないことを保証するよう設計されています。zerocheckとLogUp-GKRのルックアップ検査はドメインごとに一つのsumcheckへまとめられます。重みと中間テンソルは、Reed-Solomon符号、BLAKE3 Merkle木、可変長のBaseFold openingを組み合わせた多線形コミットメントで一括してコミットします。

証明器は全中間状態をGPUメモリに保持するのではなく、モデルを層ごとにストリーミング処理します。報告された測定では、NVIDIA RTX PRO 6000 Blackwell上でQwen2.5-32Bの4096トークンに92.5秒、16384トークンに398秒を要しました。4096トークンの場合、Qwen3-32Bは121.8秒、MoEモデルのQwen3-30B-A3Bは84.7秒です。コンパイル済みの検証器は、CPU 1コアでおよそ19〜56秒で証明を検査します。

数値の読み方

最大の課題は依然としてコストです。証明生成は通常のサービングの約41〜50倍の時間を要し、公開GPU価格を基にした4096トークンの推定費用は約6.4セントです。zkLLMとの比較では、パラメータ・トークンあたりの時間が40〜64倍少ないとされていますが、通常の推論と同じ経済性になったことを意味するわけではありません。

精度についても注意が必要です。F_Oはコミットされた整数量子化モデルの関数であり、任意のBF16実行をビット単位で再現するものではありません。WikiText-2では、貪欲デコードのトークンがBF16モデルと一致した位置は86.3%でした。Qwen3では、MMLUで1.6ポイント、GSM8Kで1.7ポイント以内の差でした。つまりSableには、計算を効率よく証明する課題と、整数化された実行が元のモデルの挙動を保つ課題の両方があります。

意義と限界

Sableは、大規模モデル推論を監査可能にするための具体的な方向性を示しています。モデルの版、外部委託された推論、サービス事業者の計算結果を検証する用途が考えられます。一方、保証対象は明確に定義された整数モデルであり、元の浮動小数点モデルやあらゆる実行環境にそのまま拡張されるわけではありません。長いコンテキストほど証明負担も増えます。今後は、証明器の高速化、ハードウェア支援、量子化とプロトコルの効率化が実用化の鍵になります。

出典：Hugging Face Daily Papers