LLM-Attacker、分散LLMのプライバシー評価を再検証可能に

導入

分割型言語モデルは、利用者の生テキストをクライアントに置いたまま、計算途中の活性値をサーバーへ送ります。学習中には、サーバーからクライアント側へ勾配が返される場合もあります。したがって、原文を送信しないことだけで、通信内容が安全だとは判断できません。中間表現や勾配には、入力文の復元に利用できる情報が含まれる可能性があります。

さらに、既存のプライバシー研究は条件が揃っていないことが多くあります。ある攻撃者は活性値だけを見られる一方、別の攻撃者は勾配も利用できます。モデルの重みを知っているか、どのデータセットを使うか、何を「復元成功」と呼ぶかも研究ごとに異なります。LLM-Attackerは、個別の攻撃手法だけでなく、評価プロセスそのものを検査可能にしようとします。

主なポイント

• 攻撃者のアクセスを記録する。 どのメッセージを見られるか、モデルの重みなどを知っているかを明示します。
• 記録済みメッセージを再利用する。 条件の合う攻撃は同じ観測データから比較でき、入力差による影響を抑えられます。
• 予測結果を保存する。 最終スコアだけでなく攻撃の出力を残し、第三者が独立して再採点できます。
• 未防御の基準を結び付ける。 防御策を評価するには、対応する未防御状態との比較を先に用意します。
• 未検証の攻撃も示す。 測定した攻撃だけで安全性を主張せず、評価の空白を報告します。

実験から分かること

管理されたGPT-2実験では、学習時に返される勾配を攻撃者へ追加すると、token復元率が94.20%から97.38%へ上がりました。文書全体を完全に復元する率も13.71%から37.77%へ増加しています。token復元率の差については、検証前に2ポイントの基準が設定され、95%区間はその基準を上回りました。

この結果は、すべての分割型モデルに同じ漏えい率が生じるという意味ではありません。むしろ、攻撃者に何を見せるかという実験条件だけで、測定されるプライバシーリスクが変わり得ることを示しています。研究では、コーパスの選択、圧縮防御、既存攻撃の適応版と参照実装、測定コードも検討対象となっています。また、実装の確認と攻撃効果の測定を別々に報告します。

意義と限界

この研究の中心的な価値は、評価方法の透明性です。開発者はクライアント上の原文だけでなく、活性値、勾配、圧縮処理、それらの組み合わせを確認する必要があります。研究者にとっては、同じ記録と採点方法を使って攻撃や防御を比較しやすくなります。

ただし、フレームワークが不確実性を消すわけではありません。結論は攻撃者モデル、データセット、モデル設定、復元指標に依存します。未検証の攻撃を無効だと見なすこともできません。プライバシーの主張には、攻撃者が見たもの、復元の判定方法、実施した対照、未評価の攻撃を併記する必要があります。

出典：Hugging Face Daily Papers