MemT-1.0：基盤モデルにネイティブな記憶を組み込む

導入

大規模言語モデルの記憶には、主に二つの方法がある。情報をモデルのパラメータに書き込む方法は、更新や継続利用にコストがかかる。一方、過去の会話をコンテキストや外部検索システムに残す方法は柔軟だが、履歴が長くなるほど計算量、KVキャッシュ、保存容量が増える。MemT-1.0は、この二分法を越え、記憶をモデルの計算に内在化することを目指す。

主なポイント

• Token単位で状態を更新。 MemT-1.0はMetisを基盤とし、Gated DeltaNet-2を導入する。各ターンの中で記憶を安定的に更新し、過去の全履歴を毎回連結する代わりに、再帰的な状態として情報を保持する設計だ。
• 記憶容量を拡張。 Mixture-of-Storageによって、複数の記憶保存方式を組み合わせ、ネイティブ記憶の容量を拡大する。提供された概要では詳細な構成までは明らかにされていないが、完全な注意機構のキャッシュに依存せず、長期間の情報を扱うことが狙いである。
• 二段階の学習。 バックボーンの準備を行った後、継続事前学習とポストトレーニングを実施した。学習データは約340億Tokenで、効率的な学習・推論インフラも用意されている。
• 記憶と汎用性を両立。 MemT-1.0-NanoとMemT-1.0-Flashの二つのモデルを公開。報告された評価では、平均的にパラメトリック記憶のベースラインを上回り、検索拡張方式にも匹敵しつつ、汎用能力を大きく損なっていない。
• 長い履歴で効率化。 128K Tokenの履歴において、Nanoは完全なコンテキストKVキャッシュと比べ、エンドツーエンド推論を約1.86倍高速化し、永続ストレージを約66分の1にしたとされる。

意義と課題

MemT-1.0の重要性は、モデルが過去の情報を「検索する」だけでなく、後続の計算に利用できる更新状態として保持しようとする点にある。RAGは必要な情報を外部から取り出す仕組みであり、パラメータ記憶は知識を重みに固定する仕組みだ。ネイティブ記憶はその中間で、対話やタスク実行を通じて手順的な経験を蓄積することを狙う。個人向けアシスタントや、複数ステップの経験を次の判断に生かすAIエージェントでは、再検索の負担を減らせる可能性がある。論文は、検索した手順的経験を内在化することで、エージェントタスクの成功率が向上したとも報告している。

ただし、何を記憶し、古い情報をどう修正・忘却するかは未解決だ。誤情報が状態に蓄積する問題や、ユーザー・タスク間の記憶分離も実運用では重要になる。現時点では、MemT-1.0は長期記憶の完成形というより、記憶ネイティブなモデルへ向かう実装上の一歩と捉えるのが妥当だ。

出典：Hugging Face Daily Papers