ハイブリッド言語モデルの分業：注意機構は想起し、再帰状態は表現を制御する

導入

ハイブリッド言語モデルは、注意機構と固定サイズの再帰状態を組み合わせることで、長い文脈からの柔軟な検索と、効率的な状態保持を両立しようとしている。しかし二つの記憶経路が同時に働くため、モデルが事実をどこに保存し、どの経路が応答の表現を決めるのかは明確ではなかった。今回の研究は、この役割分担をかなりはっきり示している。注意機構は主に「何が語られたか」を想起し、再帰状態は「次にどう語るか」を形作る。

二つの経路をどう切り分けたか

著者らは二つのキャッシュレベル介入を用いた。split-prefill では、まず文脈を読み込ませた後、KV キャッシュだけ、または再帰状態だけを残して回答を生成する。これにより、一方の経路を取り除いたときにどの能力が残るかを確認できる。state-swap では、ある文脈から得た KV キャッシュと、別の文脈から得た再帰状態を組み合わせ、同一の前向き計算で出力を生成する。単なる相関だけでなく、それぞれの経路が出力に与える因果的な影響を調べられる点が重要だ。

Qwen3.5 と Falcon-H1 では、次のような分業が確認された。

• 正確な検索は注意機構に依存する。 文脈中の具体的な項目をそのまま取り出す課題では、KV のみでも完全モデルの約 64〜98% の精度が残った。一方、再帰状態だけではこの能力がゼロになった。
• 出力言語は再帰状態に強く依存する。 再帰状態だけを残した場合も、言語面の性能は約 70〜80% 維持された。KV のみでは言語精度が約 1% まで低下した。
• ペルソナも再帰状態が主に保持する。 再帰状態を残した条件では、KV のみの場合に比べてペルソナ性能が約 3〜5 倍高かった。

state-swap の結果も、この解釈を裏付ける。回答の具体的な価値は KV 側に追従し、回答に使われる言語は再帰状態側に追従した。つまり、前者が「何を答えるか」を供給し、後者が「どう答えるか」に影響する。

単純な逐語記憶ではない可能性

再帰状態だけで生成した場合、文脈には登場しなかった語でも、既出の語と意味や一部の形を共有していれば受け入れられることがあった。これは、再帰状態が文脈の逐語的なコピーではなく、より抽象的な意味、スタイル、生成傾向を保持している可能性を示す。ただし、この結果だけで再帰状態が完全な概念推論能力を持つと結論づけることはできない。

意義

長文脈からの正確な引用や検索が必要な用途では、KV キャッシュは依然として重要だ。一方、言語、文体、役割を維持する用途では、よりコンパクトな再帰状態を活用できる可能性がある。今後の推論システムは、二つのキャッシュを重複した記憶として扱うのではなく、タスクに応じて個別に圧縮・配分する設計を検討できる。

また、ハイブリッドモデルの評価では、最終回答の正しさだけでなく、事実検索、言語選択、ペルソナ維持を分けて測る必要がある。この研究が示すのは、記憶が単一の機能ではないということだ。注意機構は語られた内容を保持し、再帰状態は次の表現を方向づける。

arXiv