記事一覧へ戻る
メモリ・コンテキスト

分割KVキャッシュ圧縮が生む周期的な検索の弱点

読了目安 4 分

長文脈モデルでは、情報がプロンプト内に存在していれば、どの位置にあっても同じように取り出せると考えがちです。しかし、分割型KVキャッシュ圧縮を使うモデルでは、この前提が崩れる可能性があります。連続するトークンを少数のキャッシュエントリにまとめると、同じ内容でも圧縮ウィンドウの境界から見た位置によって、検索のしやすさが変化します。

圧縮が生む「位相」

例えば、8トークンのウィンドウを4トークン間隔で圧縮する場合、各トークンにはストライドを基準とした位相が生じます。プロンプトの先頭に無関係なトークンを1つ加えると、本文の内容や順序は変わりませんが、後続トークンの位相だけがずれます。それでも出力が変化するなら、原因は入力データではなく、モデルの圧縮方式にあると考えられます。

研究ではDeepSeek-V4-Flash-Baseを使い、同じFP8カーネルのコード補完を調べました。コード自体は変更せず、関係のないdocstringを少しずつ長くしたところ、モデルの上位予測が正解の8と32の間で、約4トークン周期に切り替わりました。分割圧縮を使わない比較モデルでは、同じ規則的な偏りは確認されませんでした。

平均値が隠す大きな差

ニードル・イン・ア・ヘイスタック型の評価では、クエリ位置、対象位置の統計、レコード数をそろえ、対象情報の位相だけを変えました。DeepSeek-V4の複数モデルでは、精度が圧縮ストライドに合わせて上下し、最良と最悪の位相の差はおよそ15~40ポイントに達しました。追加学習によって全体精度は上がり差も縮まりましたが、周期的な傾向は残りました。

この現象は特定モデル固有の偶然でもありません。研究者は小型Transformerをゼロから学習し、全注意機構との主な違いを分割圧縮に限定しました。ウィンドウ幅、ストライド、KVヘッド数、ゲート、位置エンコーディングを変えても、周期はおおむねストライドに追従しました。制御実験では、圧縮モデルの平均精度が全注意モデルに近い一方、最悪位置の精度が大きく落ちる場合があり、差は最大78ポイントに達しました。

注意ヘッドの位相分業

因果介入からは、注意ヘッドが周期全体に均等に働くのではなく、特定の位相に専門化していることが示されました。あるヘッドは隣接する数位相で重要になり、別のヘッドが他の位相を担います。圧縮ゲートも各ウィンドウで似たスロットを選びやすく、キーと値の選択には一定のずれがあるため、隣接トークンがまとめて保持されやすくなります。

ゲートのパラメータだけを循環移動すると、弱点の位置も一緒に移動しました。これは、周期的な失敗が圧縮レイアウトと直接結び付いていることを示します。理想化モデルの分析では、勾配学習が各ヘッドを固定スロットへ集中させやすい一方、全位相を均等にカバーする動機は十分でない可能性も示されています。

評価方法への示唆

圧縮はキャッシュメモリと注意計算を削減できるため、長文脈推論に有用です。ただし、平均精度だけで安全性や安定性を判断するのは不十分です。今後は位相別精度、最良と最悪の差、ウィンドウ幅やストライドを変えたときの頑健性を併記する必要があります。

コード補完、文書QA、検索拡張生成では、無関係な接頭辞の追加が対象情報の位相を変え、回答を左右する可能性があります。高い平均値の裏に、予測可能な周期的弱点が隠れている点が、この研究の重要な警告です。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
MixUA、多ユーザー・多エージェントの記憶共有に境界を設ける
メモリ・コンテキスト
cctest.ai

MixUA、多ユーザー・多エージェントの記憶共有に境界を設ける

MixUAは、ユーザーとエージェントの相互作用から得た教訓を、役立つ相手と開示可能な範囲に応じて整理する多粒度メモリシステムだ。専用ベンチマークでは、知識の移転とプライバシー漏えいを同時に評価する。

続きを読む
CCTest · Blog
AIエージェントの記憶を鵜呑みにしない:WikiTraceが証拠をつなぐ
メモリ・コンテキスト
cctest.ai

AIエージェントの記憶を鵜呑みにしない:WikiTraceが証拠をつなぐ

外部記憶はLLMエージェントの経験学習を支える一方、誤った教訓や場違いな適用によって、記憶がない場合なら解ける課題まで失敗させることがあります。WikiTraceは教訓を元の実行軌跡と診断結果に結び付け、行動前の検証を可能にします。

続きを読む
CCTest · Blog
LowRAM、KeyとValueの予測関係を使ってKV Cacheを圧縮
メモリ・コンテキスト
cctest.ai

LowRAM、KeyとValueの予測関係を使ってKV Cacheを圧縮

LowRAMは、Keyを低ランク分解で圧縮し、軽量なヘッド別予測器でValueを再構成するテスト時KV Cache圧縮手法です。ほぼ無損失の4倍Value圧縮を実現し、量子化やキャッシュ削除とも組み合わせられます。

続きを読む