メモリ・コンテキスト

MemFoldは、クエリに関連するテキスト記憶を固定数の連続ベクトルへ圧縮し、その記憶が支える応答行動を基準に最適化する手法です。タスク報酬と、凍結したテキスト記憶教師による信頼度ゲート付きオンポリシー蒸留を組み合わせます。

HeteroFoldは、異なるモデルファミリーで構成されたマルチエージェントLLMのための、Prefill不要のKV Cache転送手法です。論文では、32Kコンテキストの一方向で、受信側の通常Prefillに対して約10.7倍の高速化が報告されています。

対話履歴を覚えているだけでは、エージェントが現在の世界を一貫して理解し、目標に近づいているとは限りません。PoSは推論時に明示的な信念状態を維持し、停滞やループ、逸脱を検出して回復を促します。

WUSH-KV は、キャリブレーションデータから Key と Value 用の変換を個別に構築し、低ビット KV キャッシュ量子化の誤差を抑える手法です。2-bit 評価では、検証したモデルと下流タスク全体で OSCAR 変換と同等以上の結果が報告されています。

分割型KVキャッシュ圧縮を使うモデルでは、同じ情報でも圧縮ウィンドウ内の位置によって検索しやすさが変わることが分かりました。平均スコアだけでは、周期的に現れる弱点を見落とす可能性があります。

長時間動画の質問応答では、関連場面を検索するだけでなく、異なる時点の物体が同じ実体かを判断する必要があります。Amazon ScienceのGEBは、視覚的に接地した観察をエンティティの履歴として結び付けます。

Meta の研究チームは、文脈をモデルが自由に書き換えられるファイルとして扱う Context Language Models（CLM）を提案した。複数の長時間エージェント課題で、性能向上と計算量削減の両立を報告している。

ByteDance Seed の研究チームが、粗い候補から細かい候補へ段階的に絞り込む PISA を提案しました。ピラミッド型 Top-K 選択により、長文脈モデルにおけるブロック選択の二次コストを抑えます。

多くのエージェントは、将来の質問を知らないままタスク終了時に経験を要約します。JitMemは生の軌跡を保持し、新しいタスクが現れた時点で必要な記憶だけを再構成します。

LatentPort は、受け手のモデルが過去のプレフィックスを再読しなくても、別のモデルから実行時の内部状態を引き継げるかを検証した。Qwen3.5 4B から 9B への実験では、KV キャッシュに加えて再帰状態と畳み込み状態を移すことで、ネイティブ 9B との差を大きく縮めた。

Jev-Memは、エージェントの記憶管理を高速な制御、構造化された保存、深い推論の3層に分けます。LoCoMoでは回答品質を高めながら、構築時間とクエリ遅延を削減しました。

DeepSeek-V4.1-Flashは、長時間動作するエージェントで問題となる事前計算、KVキャッシュ、ストレージ、帯域幅の負担を対象にしたモデルです。CED、層間KV再利用、FP4キャッシュ、SWA Bounded Replayを組み合わせ、キャッシュ容量の大幅な削減を目指します。

ジョンズ・ホプキンス大学の研究チームは、100個の連続した質問応答タスクで複数の継続学習機構を組み合わせ、最終平均保持率を1.2%から34.9%へ引き上げました。

Grouped Value Attention（GVA）は、グループ化したValueを保存し、学習済みの線形写像からContent Keyを必要に応じて再構成する手法です。報告された構成では、GQAに近い精度を保ちながら、永続キャッシュのスカラー数を約45〜47%削減しました。

SAS は、選択器の連続スコアを注意機構の Softmax に組み込み、言語モデリング損失からコンテキスト順位を直接学習する手法です。限られた注意予算のもとで、予測に有用なトークンやブロックをより適切に残すことを狙います。

新しい arXiv 論文は、閉鎖型質問応答における事実性ハルシネーションには、知識の未収録だけでなく、有限メモリによる損失圧縮も関係すると論じています。モデルが見た事実であっても、正確に保存されるとは限りません。

長いChain-of-Thoughtは推論性能を高める一方、KVキャッシュを系列長に比例して増大させます。BeaconKVは、将来再利用される可能性がある遠い文脈を、少数のビーコンクエリで予測してキャッシュを圧縮します。

Qwen3.5 と Falcon-H1 を調べた研究で、KV キャッシュと固定サイズの再帰状態が明確に異なる役割を持つことが示された。注意機構は文脈にあった情報を検索し、再帰状態は出力言語やペルソナを主に決める。

Random Attentionは、長い推論過程のKVキャッシュで、各トークンの重要度を細かく計算しなくてもよい可能性を示した。プロンプトを保持し、各注意ヘッド内で残りをランダムに淘汰することで、強力な既存手法に近い性能を実現する。

LatentStreamは、ストリーミング映像理解のための潜在ワーキングメモリを提案する。過去の映像を外部コンテキストとして繰り返し検索するのではなく、関連情報を小さく進化する潜在表現へ段階的に取り込む。

LatentPressは、会話履歴や長文書を人間向けの要約ではなく、凍結されたデコーダーが直接読める連続メモリトークンへ変換する。推論時のテキスト復元を省き、文脈処理の効率と圧縮後の性能を検証した。