メモリ・コンテキスト

Grouped Value Attention（GVA）は、グループ化したValueを保存し、学習済みの線形写像からContent Keyを必要に応じて再構成する手法です。報告された構成では、GQAに近い精度を保ちながら、永続キャッシュのスカラー数を約45〜47%削減しました。

SAS は、選択器の連続スコアを注意機構の Softmax に組み込み、言語モデリング損失からコンテキスト順位を直接学習する手法です。限られた注意予算のもとで、予測に有用なトークンやブロックをより適切に残すことを狙います。

新しい arXiv 論文は、閉鎖型質問応答における事実性ハルシネーションには、知識の未収録だけでなく、有限メモリによる損失圧縮も関係すると論じています。モデルが見た事実であっても、正確に保存されるとは限りません。

長いChain-of-Thoughtは推論性能を高める一方、KVキャッシュを系列長に比例して増大させます。BeaconKVは、将来再利用される可能性がある遠い文脈を、少数のビーコンクエリで予測してキャッシュを圧縮します。

Qwen3.5 と Falcon-H1 を調べた研究で、KV キャッシュと固定サイズの再帰状態が明確に異なる役割を持つことが示された。注意機構は文脈にあった情報を検索し、再帰状態は出力言語やペルソナを主に決める。

LatentStreamは、ストリーミング映像理解のための潜在ワーキングメモリを提案する。過去の映像を外部コンテキストとして繰り返し検索するのではなく、関連情報を小さく進化する潜在表現へ段階的に取り込む。

Random Attentionは、長い推論過程のKVキャッシュで、各トークンの重要度を細かく計算しなくてもよい可能性を示した。プロンプトを保持し、各注意ヘッド内で残りをランダムに淘汰することで、強力な既存手法に近い性能を実現する。

LatentPressは、会話履歴や長文書を人間向けの要約ではなく、凍結されたデコーダーが直接読める連続メモリトークンへ変換する。推論時のテキスト復元を省き、文脈処理の効率と圧縮後の性能を検証した。

VoiceMemは、双方向音声言語モデル向けに、情報記憶と感情・ペルソナ記憶を分離したストリーミング記憶アーキテクチャを提案します。

AnthropicはClaudeのチャットとCoworkで記憶システムを統合する。会話で整理したプロジェクトの背景を、実行段階でも引き継げるようになる。

多くを記憶すれば、必ずしも現在の課題をより正確に解けるわけではない。MemTrapBenchは、呼び出された記憶が推論や判断を歪める2種類の認知トラップを評価する。

多様な記憶方式を同一条件で比較した研究は、最適な記憶基盤がタスク、履歴の長さ、運用コストによって変わることを示した。単一方式の採用より、状況に応じた記憶ルーティングが重要になる。

OpenAIはmacOS版ChatGPTデスクトップアプリに、クリックや入力などの操作履歴をAIが参照できるComputer Historyを追加する。スクリーンショットは保存しないとされるが、個人の作業履歴をAIに渡すことへの慎重な検討は欠かせない。

AMD は、強い教師エージェントの成功軌跡を階層的な記憶として整理し、小型LLMに渡すことで道具利用タスクを改善する発想だ。再学習ではなく、再利用しやすい経験の圧縮に焦点を当てている。

新しい論文は、ALiBi の線形バイアスが浮動小数点精度でアンダーフローし、多くの注意重みをゼロにしてしまう失敗モードを指摘している。その結果、一部の注意ヘッドは遠いトークンを事実上読めなくなる。

新しい論文は、セッションをまたいだ個人化された曖昧性適応を、コーディング支援AIの評価課題として定義した。過去に解決済みの会話履歴を使い、同じユーザーの曖昧な依頼を少ない確認で処理できるかを問う。

この論文は Memory Decoder を 6.9B パラメータ、300B token の事前学習規模まで拡張し、小さな推論バックボーンと大きな記憶モジュールの組み合わせを検証している。

Metis は、AI エージェントの記憶を外部検索やプロンプト構築から、モデル内部の持続的な状態へ移す「記憶基盤モデル」を提案する。履歴をコンパクトな状態に圧縮し、後続の計算で直接利用できる点が特徴だ。

CodeNib は、コーディングエージェントが同じリポジトリを何度も探索してしまう問題に取り組む。各コミットに対して語彙・ベクトル・構造の複数ビューを作り、検索、シンボルナビゲーション、制限付きコンテキストを単一ランタイムで提供する。

この論文は Agentic Context Management（ACM）を提案し、本番環境のエージェント失敗の多くは推論能力ではなく、推論コンテキストの管理不全にあると論じている。

長い文脈を扱うとき、重要なのは量ではなく取捨選択です。SWE-Pruner Pro は、ツール出力の保持・削除を外部分類器ではなくモデル内部の表現に任せます。