同じ訓練でも異なる脱獄攻撃に破られる言語モデル

見落とされていた変数

脱獄ベンチマークは通常、1つのチェックポイントを評価し、どの攻撃が成功したかをモデルの学習データや安全性調整の特徴として扱う。しかし今回の研究は、同じデータと同じ安全性訓練を別の事前学習シードで実行した場合にも、同じ脱獄攻撃が通用するのかを問い直した。

結論は単純ではない。脱獄への弱さはデータ配合や安全性目標だけでなく、特定の事前学習ランにも強く結び付いていた。

実験の構成

研究者は25種類の事前学習データ配合を用意し、それぞれについて3つの事前学習シードでモデルを作成した。その後、同じ安全性ポストトレーニングを2つのシードで適用し、合計150モデルを構築した。中心となる規模は10億パラメータで、1.5億および3億パラメータでも同じ傾向が確認された。各モデルから共通の脱獄プロンプトに対する回答を20回ずつ集め、プロンプトごとの非拒否率を比較した。

主な結果は次の通りだ。

• 同じ事前学習ランから作った安全性訓練済みモデル同士の相関は平均0.984だった。
• 事前学習シードだけを変えると相関は0.811に低下した。
• データ配合まで変えた場合は0.779となった。
• 91種類の攻撃テンプレートで、あるチェックポイントの最良テンプレートが新しい事前学習シードでも最良だった割合は27%にとどまった。安全性訓練シードを変えた場合は67%だった。

つまり、安全性訓練の乱数も挙動に影響するが、新しい事前学習ランは、データ配合を変える場合に近い規模で脱獄プロファイルを変えうる。ただし最良テンプレートの順位自体にもノイズがある。同じ事前学習ランの安全性訓練済みコピーでも、約3分の1の組み合わせで最良テンプレートが一致しなかったからだ。したがって27%は、すべての攻撃が完全に入れ替わることを意味しない。

事前学習ランの指紋

研究では、事前学習ランごとに行動上の指紋が残ることも示された。3211個のプロンプトを使うと、モデルのプロンプト別非拒否率から、75回の事前学習ランのどれに由来するかを毎回識別できた。ランダムに選んだ50個のプロンプトでも識別率は98%だった。

これはモデル評価や調達管理に影響する。1つのチェックポイントで行ったレッドチーム結果には、そのラン固有の性質が含まれている可能性があり、モデル名だけでは見えない。ベンダーが基盤モデルを静かに更新すれば、名称や大まかな訓練方針が同じでも、過去の脱獄結果が現行モデルを表さなくなる恐れがある。

一方、この指紋をすぐに実運用の更新検知器とみなすことはできない。実験では後段の訓練手順がそろっており、既知の75ランの中から出自を識別した。現実の更新では微調整や安全性訓練も変わりうるため、指紋は再評価を開始するための信号として捉えるのが妥当だ。

意義と限界

この研究は、脱獄評価の単位をモデル系列から個別の訓練ランへ広げる。安全性報告ではモデル名や単一スコアだけでなく、ラン固有の情報を記録し、更新後に再テストする必要があるかもしれない。

ただし、相関や攻撃テンプレートの順位はプロンプト群における統計的な類似性を示すもので、現実のリスク全体を表すわけではない。研究者はコード、重み、プロンプトごとのラベルを公開しており、より大規模なモデルや実際の更新工程での検証に道を開いている。

出典：Hugging Face Daily Papers