LatentPress、連続メモリトークンでLLMの文脈を直接圧縮

概要

長い会話履歴や文書を大規模言語モデルに与える場合、コンテキストウィンドウに収まるかどうかだけでなく、読み込み時の計算量、KVキャッシュ、推論遅延も問題になる。従来の圧縮手法では、内容を人間が読める要約文に変換するか、画像として表現してOCRや視覚処理で復元することが多い。しかし、利用者が人間ではなく言語モデルであるなら、こうした復元処理は余分な段階になり得る。

論文「LatentPress: Context Compression Beyond Text and Vision」は、この前提を見直す。LatentPressは会話や長文書を、連続値を持つメモリトークンへ変換し、凍結されたデコーダーの入力埋め込みインターフェースから直接読み取らせる。圧縮結果を推論時に文章へ戻さない点が中心的な特徴だ。

仕組みと結果

システムには、読み手となるデコーダーに合わせて学習される軽量なライターがある。ライターは長い文脈を、より短い連続ベクトル列へ写像し、その列をデコーダーへ渡す。学習では約420万から2620万パラメータのアダプターだけを更新し、これはデコーダー全体の約0.1%に相当する。設定に応じて、およそ4倍から16倍の圧縮を試している。

論文の報告では、会話の書き込みにかかる時間は43ミリ秒だった。読み出しは、生の文脈やキャッシュ済みOCRを扱う場合と比べて約5倍から9倍高速で、書き込みもテキスト要約やOCR復元よりおよそ一桁速いとされる。これにより、過去の会話を何度も参照するサービスでは、入力処理のコストを抑えられる可能性がある。

主な評価

• LongMemEvalでは、7.70倍の圧縮時に正解率0.504を記録し、非圧縮の証拠を使った0.490を上回った。
• テキスト要約のベースラインは0.184、OCRベースの圧縮は設定により0.426から0.312だった。
• LongBench-QAでは、ドメイン内のライターが4倍から8倍の圧縮で生の文脈読み出しと同等以上になった。一方、16倍圧縮では生の文脈を下回った。
• UltraChatからLongMemEvalへの転移と、LongMemEval由来の質問から未知のLongBench文書領域への転移という、2種類のゼロショット設定も検証した。

意義と課題

LatentPressの意義は、圧縮結果の形式を変えたことにある。要約は人間による確認に向いているが、モデルが最終的に利用する情報表現とは異なる。連続メモリトークンなら、言語モデルが本来扱うベクトル空間に近い形で文脈を受け渡せる。長文書QA、会話メモリ、検索後の文脈管理などで、変換回数を減らすインターフェースになる可能性がある。

ただし、圧縮率を上げればよいわけではない。LongBench-QAの結果は、16倍圧縮では質問回答に必要な情報が失われる可能性を示す。また、読み手に合わせたライターは、異なるデコーダー間での再利用を難しくする可能性がある。連続表現の解釈性、誤りの発見、モデルをまたいだ互換性、より複雑なタスクでの安定性は、今後の検証課題だ。

LatentPressは要約や検索を全面的に置き換えるものではなく、モデル向けの文脈保存インターフェースを提案する研究として捉えるのが適切だろう。

出典：Hugging Face Daily Papers