KV Cache 圧縮の落とし穴：構造トークンを残しすぎる推論バイアス

導入

長文コンテキストを扱う大規模言語モデルでは、KV Cache の圧縮が推論コストを左右する。すべての過去トークンの Key/Value 状態を保持できない場合、システムは「どの情報を残すか」を選ばなければならない。H2O とその派生手法では、累積された注意量を重要度の代理指標として使い、スコアの高いトークンを残す。

しかし arXiv 論文「Adaptive Filtering of the KV Cache」は、この前提が構造化データでは危ういと指摘する。特にネストした JSON のような schema 密度の高い入力では、注意量が意味内容ではなく構造上の役割に引きずられ、回答に必要な VALUE よりも KEY や区切り文字を優先してしまうという。

主なポイント

• 注意量は常に意味的重要度を表すわけではない。 論文は累積注意量を信号エネルギーとして捉えつつ、構造化テキストではその信号が非定常なフィルターとして振る舞うと説明する。
• 非コンテンツの sink 役割が強く残る。 要旨によれば、区切り文字や空白といった非内容トークンは、どの内容ロールよりも一桁大きいエネルギーを持つ場合がある。
• KEY が VALUE より残りやすい。 構造的な KEY トークンは、回答を含む VALUE トークンの約 1.8 倍の割合で保持される。
• 低予算では精度が崩れる。 5% のキャッシュ予算では、保持状態の信号対雑音比が悪化し、完全一致精度が 88% から 0% まで落ちると報告されている。
• KEY 抑制が実用的な補正候補。 反実仮想実験により、展開可能なフィルターとしては KEY トークンの優先度を下げることが最も有効とされる。
• 再学習不要のロール条件付き割り当て。 著者は SnapKV のウィンドウ化スコア上に、単一の調整ハイパーパラメータで制御されるロール条件付き割り当てを導入した。20% 未満の予算では、H2O との差の 63% から 98% を埋める。

意義と影響

この研究の価値は、KV Cache 圧縮を単なるメモリ削減技術ではなく、入力構造に対してバイアスを持ちうる推論フィルターとして捉え直した点にある。JSON、API 応答、ログ、設定ファイル、ツール出力、RAG の半構造化文書などでは、形式を示す記号よりも値そのものを取り出すことが重要になる。

提案手法は実装面でも現実的だ。ロールラベルは約 15 MB の線形 role probe で供給され、推論時の追加コストは小さいとされる。ベースモデルを再学習する必要もない。一方で、著者は限界も明記している。高い予算では全キャッシュ精度に近づく、あるいはわずかに上回る場合があるが、その効果は小さく seed に敏感であり、parser レベルの下流精度に届くかは未解決である。

結論として、この論文は「注意を集めるトークン」と「保持すべきトークン」は同じではないことを示している。長文推論の次の課題は、注意スコアだけでなく、構造ロールとタスク上の意味を組み合わせたキャッシュ管理に進むことだろう。

出典：arXiv