複雑なエージェント記憶は必須ではない？Raw-RAGが示す原情報の強さ

導入

長期的な会話理解では、モデルが過去の発言やユーザーの好み、複数の出来事の関係を参照できることが重要です。そのため、近年のエージェント記憶システムは、会話の要約、記憶の更新、構造化、学習型の検索戦略などを組み合わせています。一方で、元の発言を変換するたびに、文脈や推論に必要な細部が失われる可能性もあります。

西安交通大学の研究チームは、こうした複雑さが常に必要なのかを検証しました。提案した Raw-RAG は、会話履歴を積極的に書き換えません。未加工の履歴に対して密検索と再ランキングを行い、選ばれた証拠をリーダー言語モデルに与えます。

主な結果

評価には LoCoMo、LongMemEval、MEME、MemoryAgentBench が使われました。7つのベンチマーク・モデル設定のうち、Raw-RAG は6設定で比較システム中1位になりました。比較対象の中で最も強いエージェント記憶システムに対する差は、0.13〜5.53ポイントでした。

これは、構造化された記憶が無意味だという結論ではありません。しかし、少なくとも今回の会話理解タスクでは、複雑な記憶機構を前提にしなくても、未加工履歴を検索する比較的単純な方法が非常に強いことを示しています。

なぜ未加工の履歴が強いのか

研究が重視するのは、必要な証拠をどれだけ拾えるかという「カバレッジ」です。要約や構造化によって記憶は短くなり、モデルが扱いやすくなる一方、回答に必要な情報が省略されることがあります。未加工の履歴にはノイズが含まれますが、答えそのものと、それを導くための周辺情報を同時に残せます。

必要な証拠は、単なる数値や事実だけではありません。人物同士の関係、出来事の順番、複数の発言を結び付ける依存関係も含まれます。結論らしい一文だけを取得しても、その結論がどのように導かれるのかが欠けていれば、モデルは正しく答えられないかもしれません。

Raw-RAG は証拠の利用効率では不利でも、より広い範囲の関連情報を保持することで、その弱点を補うと考えられます。さらに、変換済みの記憶ストアに完全にアクセスできる場合でも、未加工の証拠を参照した場合との精度差が残ると報告されています。

意義と限界

この研究は、新しい記憶方式を評価する際に、強力な未加工履歴検索を必ず基準にすべきだと示唆します。実装や再現が比較的容易で、追加の記憶機構が本当に利益をもたらすかを検証しやすいためです。

ただし、現実のシステムでは、保存コスト、プライバシー、更新遅延、極端に長い履歴への対応が問題になります。したがって、構造化を完全に捨てるより、効率化のために整理しつつ、重要な主張を元の発言へ戻れるようにするハイブリッド設計が現実的でしょう。

出典：Hugging Face Daily Papers