Deep Fusion Memory、大規模言語モデルにチャンク単位の記憶を統合

背景

大規模言語モデルが事前学習で保持していない外部知識を扱うには、追加学習や推論時検索がよく利用される。しかし、継続的な事前学習は既存能力の忘却を招く可能性があり、検索拡張生成はリクエストごとに検索、証拠の選択、コンテキストへの追加を必要とする。パラメトリックメモリは知識をあらかじめモデル側へ取り込む方法だが、学習データの準備に大規模な検索が必要になる場合がある。また、最終出力で記憶を混ぜるだけでは、融合が浅いという課題もある。

論文「Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models」は、テキストチャンクを基本単位とする Deep Fusion Memory（DFM）を提案する。

手法のポイント

• チャンク単位の記憶。 トークンごとに検索目標を作るのではなく、同じチャンク内のトークンで予測記憶を共有する。これにより、学習データ構築時の検索量を抑える。
• 因果的な記憶予測。 予測器は先行コンテキストから現在のチャンクに必要な記憶を生成する。訓練では、コーパスから検索したチャンク埋め込みを教師として利用する。
• 中間状態への深い融合。 生成された記憶は、ゲート付きクロスアテンションを通じてモデルの中間隠れ状態へ注入される。最終出力だけで融合する方式より、内部計算に影響を与えやすい設計である。
• バックボーンを凍結。 メモリ予測器と融合機構はエンドツーエンドで学習する一方、基盤言語モデルは凍結する。
• 推論時の明示的検索を不要にする設計。 学習後はコンテキストから記憶を予測するため、毎回外部インデックスへ問い合わせる必要がない。

結果と意味

概要によれば、6つのQAタスクにおいて、DFMは最強ベースラインに対し、Mistral-7B-v0.3で12.71%、Qwen3-8B-Baseで11.19%上回った。また、ドメイン適応ではQwen3-4B-BaseとQwen3-8B-Baseに対して、それぞれ平均6.51点、4.38点の向上が報告されている。学習データ構築に必要な検索クエリは32分の1、取得項目数は2048分の1になったという。

この研究の意義は、パラメトリックメモリの構築コストと、記憶をモデル内部で活用する深さを同時に扱おうとしている点にある。チャンク単位の教師信号は、トークン単位の精密さと大規模な準備コストの折衷案といえる。

一方、提供された情報だけでは、知識の更新、矛盾する記憶、誤った記憶の生成に対する挙動までは判断できない。今後は、オンラインRAGと比較して、遅延、更新性、事実性、構築コストを検証する必要がある。DFMは検索を完全に置き換える結論というより、外部知識をモデルへ注入する有望な方向として捉えるのが適切だろう。

出典：Hugging Face Daily Papers