Cortex：コンテキストの効果を統合可能なパラメータ記憶へ

背景

大規模言語モデルは、文書、例、指示などのコンテキストを与えることで、一時的に新しい知識や技能を利用できます。しかし、コンテキストを取り除くと、その性能向上も失われることが少なくありません。反対に、パラメータを直接編集すれば効果を長く残せますが、既存知識の上書きや、編集対象ではない能力の低下が起こる可能性があります。

ByteDance Seed の論文は、この問題を「メモリ統合」として定式化しました。目的は、コンテキストによって生まれた改善をモデル内部へ取り込みつつ、対象外の能力を維持することです。この考え方により、コンテキスト指定編集、技能学習、行動誘導を共通の目的で捉えます。

Cortex の仕組み

Cortex はまず、与えられたコンテキストが将来どのように使われるかを見越した「prospective queries」を生成します。元の入力だけを使うのではなく、想定される利用場面を広げて評価するためのクエリです。モデルはコンテキストを参照しながらそれらに回答し、その出力がパラメータ更新の蒸留対象になります。

論文では二つの更新形式を検討しています。低ランク更新は比較的コンパクトで、既存モデルへ統合しやすい形式です。構造化更新はフィードフォワードネットワークを対象とし、表現力と干渉の抑制を両立することを狙います。いずれも、新しい対象能力を高めることと、無関係な能力を保つことを同時に評価する設計です。

評価結果

研究チームは五つのタスクファミリーからなる評価環境を構築し、単発、バッチ、逐次更新を測定しました。対象には 4B から 120B までの密なモデルと混合専門家モデル、テキスト専用モデルとマルチモーダルモデルが含まれます。報告によれば、Cortex は多くの設定で、統合性能と保持性能の経験的なパレート前線に位置しました。

14B モデルで 50 回の連続的な事実編集を行った実験では、Cortex-Structural がコンテキストによる改善の 88.9% を回復し、元の対象外性能の 99.8% を保持しました。累積編集による干渉を抑える可能性を示す結果ですが、これは論文の評価条件に基づく数値であり、あらゆる実運用にそのまま適用できる保証ではありません。

意義と課題

Cortex は、毎回長いコンテキストを入力する方法と、モデル全体を再学習する方法の中間に位置するアプローチです。新しい情報や行動特性を統合可能な更新として管理できれば、継続学習や限定的なモデル適応に役立つ可能性があります。一方、生成された予測クエリが現実の利用場面をどこまでカバーできるか、編集同士の衝突をどう解決するか、誤った情報を統合した後にどう安全に修正するかは、今後の重要な課題です。

出典：Hugging Face Daily Papers