Metis：基盤モデルに「ネイティブ記憶」を組み込む試み

導入

現在の AI エージェントにおける「記憶」は、多くの場合、モデルそのものではなく外部システムとして実装されている。ベクトルデータベース、検索器、キャッシュ、要約、プロンプトへの再挿入といった部品を組み合わせ、過去の情報を扱う設計が一般的だ。

Metis が提示するのは、これとは異なる方向性である。記憶を外付けの補助機能ではなく、基盤モデルのネイティブな能力として扱う。単にコンテキスト長を伸ばすのではなく、履歴情報をモデル内部の状態へ圧縮し、その状態が後続の計算に参加する仕組みを目指している。

核心ポイント

• ネイティブ記憶状態：Metis は、モデルのバックボーン内に存在する持続的かつ動的な状態を記憶として定義する。この状態は外部ストレージではなく、後の推論に直接関与する。
• 記憶手続きの学習：何を保存し、保存済み情報をどう使うかを、モデルが学習する手続きとして扱う。手作業のルールや外部パイプラインへの依存を減らす狙いがある。
• Metis Block の構成：各 Metis Block は、記憶状態を維持する Local Memory Block と、保存・利用手続きを学ぶ Hyper Memory Block を組み合わせる。
• 固定サイズのセッション状態：過去の履歴はコンパクトな固定サイズ状態に圧縮される。後続のクエリは、元の履歴を再投入せずに memory attention を通じて参照できる。
• 勾配なしの記憶更新：推論時には学習済み重みを凍結したまま、前向き計算だけで記憶状態を更新する。オンラインの記憶維持に勾配計算は不要とされる。
• 公開チェックポイント：実装に加え、Qwen3.5 ベースの 4B、9B、27B 規模のチェックポイントが公開されている。

意義と影響

Metis の意義は、エージェント記憶をシステム設計の問題からモデルアーキテクチャの問題へ移そうとしている点にある。長期対話、個人化アシスタント、複数ステップのタスク実行では、過去の情報を毎回検索してプロンプトへ詰め込む方式に限界がある。Metis のような設計は、モデル内部で更新される状態を通じて、より自然な継続性を実現する可能性がある。

効率面でも注目に値する。外部記憶方式では、履歴の検索、選別、再構成が繰り返し必要になる。Metis は履歴を固定サイズ状態に圧縮し、attention によってアクセスするため、長いやり取りでの重複処理を減らせる可能性がある。

一方で、提示されている情報は主に概念とプロトタイプに関するものだ。実際のタスクでの信頼性、長時間セッションでの安定性、記憶の誤用や混入をどう防ぐかは、今後の評価が必要になる。記憶がモデル内部状態になるほど、削除、分離、監査、安全管理も重要な課題になる。

Metis は、モデルに外部記憶を接続する発想から、モデル自体が記憶を持つ発想へ進む初期の試みとして位置づけられる。

出典：Hugging Face Daily Papers