LLMバックドア攻撃では、毒サンプルの数より選び方が重要

導入

大規模言語モデルのバックドアを評価する際、毒サンプルの数を決め、候補プールからランダムに抽出して微調整する方法がよく使われる。この手順は条件をそろえやすい一方、サンプルの組み合わせによる差を見落とす可能性がある。論文「Pick Your Poison」は、ランダムな毒集合がモデルの最悪時の脆弱性を大幅に過小評価し得ると指摘している。

主なポイント

• 重要なのは数だけではない。 3つのLLaMA-3-8Bバックドア設定で、モデル、クリーンな学習データ、毒サンプル数を固定したまま集合だけを変更すると、攻撃成功率は3%から80%まで変化した。したがって、毒の量と構成は分けて評価する必要がある。
• 問題を集合レベルで定式化した。 研究者は、限られた評価予算の中で、もっとも効果の高い毒サンプル集合を探す問題として定式化した。候補を一つずつ微調整して確認する方法は、計算コストが高すぎる。
• SAILSは学習と監査を組み合わせる。 SAILS（Set-level Audit-Informed Iterative Learned Selection）は、まず数百回の微調整と評価を行い、完全な毒集合を評価するスコアラーを学習する。その後、数百万の候補を順位付けし、上位の少数だけを詳しく監査する。
• 複数の用途に広がる。 提供された素材によれば、SAILSは強力な影響度ベースラインに対し、保留データで平均30ポイントの攻撃成功率向上を示した。また、小規模微調整からフルスケール微調整へ移行でき、コード生成、エージェント、APIのみで利用するバックドアにも適用された。

意義と影響

この研究の意義は、単に「より多くのデータを毒化する」方法を示したことではない。安全性ベンチマークが、平均的な攻撃結果を測っているのか、それとも慎重に設計された攻撃に対する最悪時のリスクを測っているのかを問い直した点にある。ランダムな集合だけで評価すると、低い成功率がモデルの頑健性ではなく、たまたま弱い候補を選んだ結果である可能性が残る。

モデル開発者は、バックドア検査に集合レベルの探索、複数回の評価、学習規模をまたいだ再現性確認を取り入れる必要がある。防御側も、単一サンプルの異常だけでなく、同じトリガーや目標行動を持つサンプル同士の組み合わせに注目すべきだろう。

SAILSは、全候補を総当たりする方法と単純なランダム抽出の中間に位置する。高コストな実験を少数行い、候補が有望な領域を学習したうえで監査資源を集中させるからだ。ただし、他のモデル構造、学習手順、防御策でも同じ安定性が得られるかは、素材だけでは判断できない。今後の独立検証が必要である。

Hugging Face Daily Papers