メモリ・コンテキスト

自己回帰型の動画拡散モデルでは、長い動画を生成するほどアテンションKVキャッシュが増大します。CORAL-KVはキャッシュ層間の依存関係を利用して後段のキーとバリューを予測し、残差だけを量子化します。

REMORYは、テキスト要約だけでは失われやすい情報を、学習可能なソフトメモリTokenで補います。完全な履歴を与えた場合のモデルの継続に近づけながら、文脈の使用量を抑える手法です。

EngramEditは、条件付きメモリを単なる容量拡張の仕組みから、編集可能な知識インターフェースへと発展させる手法です。Transformer本体を固定したまま共有n-gram埋め込みを更新し、表現の違いをまたぐ知識編集と副作用の抑制を目指します。

新たな研究は、スライディングウィンドウ注意と線形注意が、文脈拡張と長さ外挿で異なる強みを持つことを示した。著者らはその差を各機構が生む「ハイブリッド位置バイアス」と捉え、Sliding-Window Linear Attentionを提案している。

galahad-kvを使った実験では、言語モデルのKV状態を暗号化したローカルNVMeに保存し、再計算なしで後から読み戻せることが示された。注意ウィンドウを拡大する技術ではないが、長い履歴を効率的に再利用する方法になる。

Periscopeは、学習やモデル改修を必要とせず、局所的な探査と文書全体を横断する探査を組み合わせる推論手法です。長文から答えと根拠を絞り込み、KVキャッシュの負担を抑えます。

長期記憶はLLMエージェントの個人化を高める一方、ユーザーの過去の考えに過度に同調させることがあります。MemAdapterは、現在の文脈に応じて記憶の影響度を動的に調整します。

RealCompanionは、過去の発言を検索できるかだけでなく、いつ記憶が必要なのかを判断し、会話に適切に生かせるかを測る長期対話ベンチマークだ。研究結果は、記憶の必要性が従来の評価から想像するより低く、その判定自体が難しいことを示した。

HeteroFoldは、異なるモデルファミリーで構成されたマルチエージェントLLMのための、Prefill不要のKV Cache転送手法です。論文では、32Kコンテキストの一方向で、受信側の通常Prefillに対して約10.7倍の高速化が報告されています。

対話履歴を覚えているだけでは、エージェントが現在の世界を一貫して理解し、目標に近づいているとは限りません。PoSは推論時に明示的な信念状態を維持し、停滞やループ、逸脱を検出して回復を促します。

MemFoldは、クエリに関連するテキスト記憶を固定数の連続ベクトルへ圧縮し、その記憶が支える応答行動を基準に最適化する手法です。タスク報酬と、凍結したテキスト記憶教師による信頼度ゲート付きオンポリシー蒸留を組み合わせます。

WUSH-KV は、キャリブレーションデータから Key と Value 用の変換を個別に構築し、低ビット KV キャッシュ量子化の誤差を抑える手法です。2-bit 評価では、検証したモデルと下流タスク全体で OSCAR 変換と同等以上の結果が報告されています。

分割型KVキャッシュ圧縮を使うモデルでは、同じ情報でも圧縮ウィンドウ内の位置によって検索しやすさが変わることが分かりました。平均スコアだけでは、周期的に現れる弱点を見落とす可能性があります。

長時間動画の質問応答では、関連場面を検索するだけでなく、異なる時点の物体が同じ実体かを判断する必要があります。Amazon ScienceのGEBは、視覚的に接地した観察をエンティティの履歴として結び付けます。

Meta の研究チームは、文脈をモデルが自由に書き換えられるファイルとして扱う Context Language Models（CLM）を提案した。複数の長時間エージェント課題で、性能向上と計算量削減の両立を報告している。

ByteDance Seed の研究チームが、粗い候補から細かい候補へ段階的に絞り込む PISA を提案しました。ピラミッド型 Top-K 選択により、長文脈モデルにおけるブロック選択の二次コストを抑えます。

多くのエージェントは、将来の質問を知らないままタスク終了時に経験を要約します。JitMemは生の軌跡を保持し、新しいタスクが現れた時点で必要な記憶だけを再構成します。

LatentPort は、受け手のモデルが過去のプレフィックスを再読しなくても、別のモデルから実行時の内部状態を引き継げるかを検証した。Qwen3.5 4B から 9B への実験では、KV キャッシュに加えて再帰状態と畳み込み状態を移すことで、ネイティブ 9B との差を大きく縮めた。

Jev-Memは、エージェントの記憶管理を高速な制御、構造化された保存、深い推論の3層に分けます。LoCoMoでは回答品質を高めながら、構築時間とクエリ遅延を削減しました。

DeepSeek-V4.1-Flashは、長時間動作するエージェントで問題となる事前計算、KVキャッシュ、ストレージ、帯域幅の負担を対象にしたモデルです。CED、層間KV再利用、FP4キャッシュ、SWA Bounded Replayを組み合わせ、キャッシュ容量の大幅な削減を目指します。

ジョンズ・ホプキンス大学の研究チームは、100個の連続した質問応答タスクで複数の継続学習機構を組み合わせ、最終平均保持率を1.2%から34.9%へ引き上げました。