LLMの重みを0.05％未満削除するだけで後学習が可能に

導入

大規模言語モデルの後学習では、通常、多数のパラメータを更新します。全量ファインチューニングは高い適応性能を得やすい一方、チェックポイントが大きくなり、事前学習で得た能力を失う「忘却」も起こり得ます。今回の研究は、この前提を別の角度から見直しました。新しい能力を学ぶために、多数の重みを変更する必要はあるのでしょうか。あるいは、重要でない重みを少数だけ無効化すれば十分なのでしょうか。

研究チームが提案する Deletion Tuning は、後者の可能性を示します。報告によれば、事前学習済み重みの0.05％未満をゼロにするだけで、複数の後学習方式において全量ファインチューニングに匹敵する性能を達成しました。これはネットワーク全体を大幅に縮小する手法ではなく、モデルの挙動に影響する位置を選び、そこだけを停止させるアプローチです。

手法の仕組み

Deletion Tuningは、Transformerブロックのゲート投影に二値マスクを学習します。各重みを新しい値に置き換えるのではなく、保持するかゼロ化するかをマスクで指定します。学習中は、アニーリングするSigmoidマスクを使い、連続的に最適化しながら最終的に離散的な選択へ近づけます。そのため、共有時に保存する主な追加情報は、どの重みを無効化するかを示すビットマスクになります。

評価対象は、検証可能な報酬を用いる強化学習、教師ありファインチューニング、オンポリシー蒸留の3種類です。素材によれば、いずれの設定でも選択された重みを削除するだけで、全量ファインチューニングに匹敵する結果が得られました。低ランク更新を別途加えるLoRAや、密な重み差分を保存する方式とは異なる点が重要です。

主なポイント

• 更新ファイルを小さくできる。 学習済みマスクは、対応する全量ファインチューニングのチェックポイントより数百倍から数千倍小さいとされています。専門用途向けのモデル差分を保存・配布しやすくなる可能性があります。
• 忘却を抑えられる。 強化学習の実験では、旧タスクの精度が基礎モデルに近い水準で維持されました。一方、全量ファインチューニング、LoRA、ランダムな疎な微調整では、旧タスクの精度が最大5.4ポイント低下したと報告されています。
• 単純なランダム削除ではない。 安定ランク、スペクトルのドリフト、主要な重みの重なりを調べた結果、Deletion Tuningの変化はLoRAやランダム疎行列化よりも全量ファインチューニングに近いと分析されています。

意義と注意点

この研究は、後学習の効果が変更したパラメータ数だけで決まるわけではなく、どの位置を変更するかに強く依存する可能性を示します。結果がより多くのモデルやタスクで再現されれば、1つの基礎モデルに小さなマスクを組み合わせ、用途ごとの能力を低コストで配布する設計が考えられます。継続学習で重要な、過去の能力を保ったまま新しい能力を加えるという課題にも関係します。

ただし、提供された素材だけでは、異なるモデルサイズやアーキテクチャ間でマスクを転用できるかは分かりません。データセット、モデル規模、学習コストの詳細も示されていないため、あらゆるLLMに0.05％の削除で十分だと一般化することはできません。現時点での妥当な理解は、広範囲の重みを書き換える代わりに、挙動を左右する少数の「スイッチ」を見つける後学習の方向性が提示された、というものです。

出典：Hugging Face Daily Papers