Memory Decoder at Scale：長期記憶をLLM本体から切り出す試み

導入

現在の decoder-only 型言語モデルでは、知識を長期的に保持する機能と、文章生成時に推論する機能が同じ重みに押し込まれている。設計としては単純だが、記憶容量だけを独立して増やしにくい。より多くを覚えさせたい場合、通常はモデル全体を大きくする必要がある。Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory は、この前提を見直し、推論を担う小さめの本体と、大きな事前学習済み記憶モジュールを組み合わせる方向を示している。

核心ポイント

• 記憶と推論の分離
  本研究は Memory Decoder の考え方を拡張し、長期記憶を言語モデル本体の重みから相対的に分離する。ベースモデルは生成と推論を担当し、memory モジュールが知識保存の大きな部分を担う構成だ。

• 6.9B パラメータまで拡大
  以前の Memory Decoder は比較的小規模な検証にとどまっていた。本論文では memory model を最大 6.9B パラメータまで拡張し、300B token で事前学習している。これにより、単なる概念実証ではなく、より大きな訓練規模での有効性が問われている。

• Faiss の索引・検索を分散化
  300B token 規模では、標準的な Faiss パイプラインでは索引作成と検索コストが重くなる。著者らは分散 Faiss 索引・検索パイプラインと、スパースかつ batch 単位での kNN 分布読み込みを組み合わせ、このボトルネックに対応した。

• 小さな本体と大きな記憶の結果
  17 ベンチマークで、Pythia-410M に 6.9B の汎用 memory を組み合わせると、平均スコアは 29.86 から 37.34 に上がり、Pythia-12B の 37.24 をわずかに上回った。しかも総パラメータは 39% 少ない。また Qwen3 Base の 0.6B から 14B までの各規模で、1.7B のドメイン memory は三つの領域の平均スコアを毎回 9 ポイント超改善したと報告されている。

意義と影響

重要なのは、単一のベンチマーク結果だけではない。モデルを強くする方法として、基盤モデルをひたすら拡大する以外に、記憶モジュールを独立して事前学習・拡張する選択肢が示された点にある。これは「小さなバックボーン、大きな記憶」という新しいスケーリング戦略と見ることができる。

一方で、実用化にはシステム上の難しさもある。大規模な索引、検索遅延、memory と backbone の連携、汎用記憶とドメイン記憶の使い分けなどが性能と運用コストを左右するだろう。

この方向性は RAG とも異なる。RAG は外部文書を検索するが、ここで扱う記憶は学習可能なパラメータである。将来的には、外部検索とパラメトリック記憶を組み合わせた、より柔軟な長期記憶アーキテクチャにつながる可能性がある。

出典：Hugging Face Daily Papers