継続学習機構の組み合わせで言語モデルの長期記憶を改善

導入

言語モデルを継続的に更新する場合、新しい知識を覚えるだけでは不十分です。後から入る情報によって、以前に学習した内容まで失われてしまえば、長期間運用するモデルとしては使いにくくなります。ジョンズ・ホプキンス大学の研究チームは、この問題を「長期記憶（long-horizon memorization）」として定式化し、複数の継続学習機構を組み合わせる効果を検証しました。

課題：更新を重ねるほど過去の記憶が薄れる

実験では、モデルに100個の質問応答タスクを順番に学習させます。学習は継続的な教師ありファインチューニングで行われますが、過去の訓練例は保存されません。また推論時にもタスク識別子を与えません。これは、新しい情報が次々に追加される一方、古いデータへ常にアクセスできるとは限らない状況を簡潔に表した設定です。

単純な順次SFTでは、後続タスクの更新がモデルのパラメータを上書きし、以前のタスクに対する性能が大きく低下します。3つのデータセットで、最終的な平均保持率は1.2%にとどまりました。さらに、評価した単一の継続学習機構だけでは、この長いタスク列で強い保持性能を維持できませんでした。

提案：異なるレベルの保護を組み合わせる

論文は設計空間を2つの観点で整理しています。

• 何を保護するか：データアンカー、関数アンカー、重みアンカーが、過去の情報、モデルの振る舞い、パラメータ状態など異なる対象を維持します。
• どこに更新を保存するか：低ランク割り当て規則によって、後続の更新をLoRA型のパラメータ空間へどのように配置するかを決めます。

最良の構成は、3種類すべてのアンカーとmerged LoRAを組み合わせたものです。3つの100タスク・データセットすべてで上位3手法に入り、最終平均保持率は34.9%となりました。単純な順次ファインチューニングの1.2%と比べ、約28倍の改善です。

組み合わせの数が多いため、研究チームはタスク単位のsuccessive halvingで候補を段階的に絞り込みました。その後、要因実験によって各機構の単独効果と相互作用を分析しています。平均的な改善幅が最も大きかったのはデータアンカーとmerged LoRAでした。さらに、この2つは3つのデータセットすべてで超加法的な相互作用を示し、単純な効果の足し算を上回る結果となりました。

意義と残された課題

この研究が示すのは、壊滅的忘却に単独の万能解があるとは限らないということです。忘却は、保存されたデータ、モデルの関数的な振る舞い、更新先となるパラメータ空間など、複数の層で起こり得ます。それぞれを補う機構の組み合わせは、継続学習を設計するための現実的な方向性になります。

一方、34.9%という保持率は問題が解決したことを意味しません。評価対象は制御された連続記憶タスクであり、現実のオープンワールド型の知識更新をそのまま再現するものではありません。より長い更新列や多様なデータ分布でも効果が維持されるかは、今後の検証が必要です。

出典：Hugging Face Daily Papers