注意ヘッドを減らせば、言語モデルの逐語記憶も減るのか

大規模言語モデルは言語の規則性を学習する一方で、訓練データに含まれる文章をそのまま再現することがある。個人情報、著作権のある文章、その他の機微な内容が含まれていれば、これはプライバシー漏えいや知的財産の問題につながる。従来の対策は、訓練データの除去、再学習、出力フィルタリングなどが中心だった。今回の研究は、再学習を伴わない推論時の介入として、注意ヘッドの選択的な無効化を検討している。

研究のポイント

• 注意ヘッドを連想記憶として捉える。 先行研究では、注意ヘッドが連想記憶のように働き、ヘッド数が多いほど記憶容量も増える可能性が論じられている。
• ランダムな削除ではない。 著者らは、言語モデリングのタスクに対して冗長と判定されたヘッドを特定し、推論時にその出力をゼロにした。モデルを再学習してパラメータを取り除いたわけではない。
• 逐語再現が大幅に減少した。 15億パラメータのGPT-2-XLで、729個のタスク冗長ヘッドを剪定すると、既知の記憶系列の再現数が91.5%減少した。
• 通常の指標は悪化しなかった。 冗長ヘッドの特定に使ったWikiText-103では、パープレキシティが0.92改善した。ただし、この結果が他のデータセットやタスクにも当てはまるかは、提示された素材だけでは判断できない。

重要なのは、「注意ヘッドを減らせば常に安全になる」という結論ではない。むしろ、正確な再現の一部が、通常の言語予測には不可欠ではない特定のヘッド群に依存している可能性を示した点にある。もしそれらのヘッドが学習文の検索に関与しながら、一般的な予測には大きく寄与しないなら、推論時に選択的に抑制することで、通常の能力をある程度維持しつつ記憶の再現を減らせるかもしれない。

意義と限界

実運用の観点では、訓練データを変更せず、再学習も必要としない点が魅力だ。剪定を圧縮や高速化だけでなく、学習後の望ましくない挙動を調整するための構造的な介入として捉えるきっかけにもなる。

一方で、結果の解釈には注意が必要だ。実験の中心はGPT-2-XL、既知の記憶系列、そしてWikiText-103である。より大きなモデルや別のアーキテクチャ、未知の記憶事例、幅広い下流タスクでの結果は、要約からは確認できない。また、事実想起、長文コンテキスト処理などにどのような影響が出るかも明らかではない。したがって現段階では、これは有望な推論時の緩和策であり、モデルの記憶を包括的に管理する完成した解決策ではない。

出典：arXiv