ローカルLLMが実力以上に「賢くない」と感じる理由

導入

他人のデモでは高性能に見えたモデルが、自分のPCでは期待外れに感じられることがあります。原因として量子化済みモデルやGPU、誇張されたベンチマークを疑いがちですが、実際にはGPUの世代、CUDAカーネル、推論フレームワーク、KVキャッシュの精度、サンプリング設定、チャットテンプレートなど、多数の要素が結果を左右します。

Level1Techsの議論が示す重要な点は、ローカルモデルが本質的に劣っているとは限らないことです。モデル提供者が使った参照実装とは異なる数値計算の経路を通っているだけかもしれません。

要点

• 同じ重みでも同じ出力にはならない。 各ステップでモデルは次の候補トークンのlogitsを計算し、確率分布に変換してサンプラーへ渡します。小さな数値差でも最高スコアのトークンが変われば、続く文章は別の方向へ進みます。
• 推論は長いソフトウェアの連鎖である。 vLLMのようなランタイムでは、多数のライブラリやカーネルが処理に関わります。GPU、テンソル形状、モデル構造、量子化設定によって実行経路も変化します。
• 注意機構のバックエンドも影響する。 実験では、他の条件を固定し、FlashAttention 2、FlashInfer、Triton Attentionを比較しました。BF16の重みとKVキャッシュを使い、ツール呼び出しを含む約10万トークンの実ワークフローを入力しています。
• 単一の指標を過信しない。 KLダイバージェンスは分布間の距離を示す指標であり、知能そのものを測るものではありません。参照チェックポイント、実行環境、文脈長、比較位置、方向、集計方法が開示されなければ、数値の解釈は困難です。
• 実際の負荷で評価する。 温度0で少数のプロンプトを試すだけでは、長文脈エージェントやツール利用の性能は分かりません。分野知識、長い入力、構造化出力、実際に使うツールを評価に含めるべきです。

意味と影響

この実験は、特定のバックエンドが常に優れていると主張するものではありません。むしろ、推論実装そのものがモデルの実効的な挙動を構成するという問題提起です。比較ではトークン履歴を強制的に同じにして、初期の出力差が後続結果を増幅しないようにしました。そのため数値差の観察には適していますが、自由生成時の分岐や、実際のツール呼び出しの成功率を直接示すものではありません。

利用者は、まずモデルカードのチャットテンプレートとサンプリング設定を確認し、量子化、KVキャッシュ、文脈長、バックエンドを固定して自分の実タスクを再現するとよいでしょう。運用側は速度やメモリだけでなく、参照実装との数値的一致も確認する必要があります。

したがって「このGGUFは良いか」だけでなく、自分のハードウェア、ソフトウェア、ワークロードの組み合わせが、参照環境からどの程度離れているかを問うことが重要です。

Hacker News