勾配をたどって大規模モデルの安全性低下を生むデータを探す

大規模言語モデルの安全性は、危険なプロンプトへの応答だけでなく、微調整に使うデータによっても変化する。しかも、安全性を損なうデータが必ずしも露骨に有害とは限らない。危険なキーワードや攻撃的な指示を含まない例でも、モデルのパラメータを望ましくない方向へ動かす可能性がある。

Hugging Face Daily Papersで紹介された「Follow the Gradient: Tracing Safety Degradation Back to Training Data」は、この問題を勾配の観点から分析する。研究チームが提案したSimpleLoRIFは、各訓練例がモデルに与える更新方向をベクトルとして表し、安全でない挙動に関連する方向との近さを調べる手法だ。

大規模データに対応する仕組み

勾配によるデータ帰属は、モデルのパラメータ数が多いほど計算コストが増える。そこでSimpleLoRIFは、低ランク帰属手法を簡略化し、逆伝播をTransformerの最後の4ブロックに限定する。これにより、数百万規模のデータセットでも、サンプルごとの勾配表現を作成して比較できるようにした。勾配分析を小規模な研究用の診断から、実際のポストトレーニング用フィルターへ近づけた点が特徴である。

研究で示されたこと

• 創発的なミスアラインメントの実験では、安全でないコードに関する訓練データと、微調整後に現れる広範な有害挙動を勾配が結び付けた。ミスアラインしたモデルの勾配空間では、AUCが最大0.865に達した。
• 研究チームは、Tulu 3から安全でない応答との勾配上の関連が強い20％の例を除いたSafeTuluを作成した。
• Qwen、Llama、Olmoでは、GCG攻撃の成功率が最大22％低下した。
• その効果はLLMを判定役にするフィルターや、従来の勾配ベース手法を上回り、能力も概ね維持された。一部では改善も見られた。

意義と限界

従来のデータ審査は、文章の表面に現れる危険性を重視してきた。しかし本研究は、サンプルがモデルをどの方向に更新するかも重要だと示す。単独では無害に見える例でも、他のデータや既存のモデル挙動との組み合わせによって、安全性に影響する可能性がある。

除外されたデータの分析からは、ツール実行の失敗や物語形式の算術など、これまで十分に調べられていない要因も示唆された。ただし、これらのデータが本質的に有害だと結論付けたわけではない。タスク形式や文脈が安全性に与える影響を、より細かく検証する必要があるという意味である。

SimpleLoRIFはレッドチーミングや運用時監視の代替ではない。それでも、訓練前に高リスクな更新方向を持つサンプルを絞り込み、安全性評価と能力評価を組み合わせるための実用的な手がかりになる。安全性を最終モデルだけの性質として扱わず、そこへ至るデータと更新過程まで追跡する発想が重要になっている。

出典：Hugging Face Daily Papers