LLMの拒否方向消去攻撃を防ぐ「おとり方向」最適化

背景

オープンウェイトの大規模言語モデルでは、攻撃者が重みや内部活性に直接アクセスできるため、学習後に安全機構を改変される可能性がある。代表的な攻撃がRefusal Feature Ablation（RFA）だ。攻撃者は、拒否すべき入力と通常の入力に対する活性の差を比較し、拒否応答に関係する線形方向を推定する。その方向を残差ストリームから射影除去すると、一般能力を大きく損なわずに安全な拒否だけを弱められる場合がある。

カーネギーメロン大学の研究チームは、この攻撃に対する事後的な重み編集手法としてDecoy Direction Optimization（DDO）を提案した。全モデルを安全性ファインチューニングし直すのではなく、攻撃者の推定処理そのものを誤らせる点が特徴である。

仕組み：本物ではなく、推定を狙う

RFAは、拒否に関係する信号と通常の生成に関係する信号を分離する対比推定器に依存する。DDOはこの推定段階を標的にし、MLPニューロンへ高振幅かつ非線形のおとり信号を注入する。

攻撃者が拒否方向を再計算すると、おとりによって推定値が汚染される。その結果、実際の安全回路とは直交した無害な特徴を拒否方向だと誤認し、そこを消去する可能性が高まる。安全機構を完全に隠すのではなく、測定結果を偽装する発想だ。論文はこの効果を説明するスペクトル上界も示しているが、あらゆる編集攻撃を防ぐ保証ではない。

実験で示されたこと

• 6つのモデルファミリーで評価し、標準的なRFAでは攻撃成功率10%未満を達成した。
• Llama-3-8B-Instructの適応型マルチフェーズ攻撃では、最悪時の攻撃成功率が65%だった。比較対象の訓練型防御は58%で、DDOには競争力がある一方、適応攻撃との差は残る。
• Hereticによる重みレベル攻撃では、攻撃成功率を88.7%から18%へ低下させた。
• 構成ごとの最適化コストは、比較した訓練型ベースラインより30～450倍低いと報告されている。

意義と限界

DDOの意義は、安全表現を単に隠すのではなく、攻撃者が使う推定器を妨害するという防御の転換にある。複数のオープンモデルを運用するチームにとって、チェックポイントごとの再学習を避けられる事後処理は導入しやすい可能性がある。

ただし、DDOは完全な免疫策ではない。適応型攻撃では比較対象との差が見られ、注入したおとりが能力、安全応答、解釈性に与える影響も別途確認する必要がある。攻撃者が、おとりの構造を特定したり、より豊富な内部信号や別の編集経路を利用したりする可能性もある。したがってDDOは、訓練、評価、監視を置き換えるものではなく、オープンウェイトモデルの防御を構成する一層として捉えるのが妥当だ。

出典：Hugging Face Daily Papers