合成データは本当に安全か？LLMの能力とプライバシーを再検討

導入

医療記録のような機微情報を言語モデルに学習させる場合、評価すべきなのはタスク性能だけではありません。モデルが訓練データの個人情報を記憶し、後から再現してしまう可能性も重要です。論文「Exploring The Empirical Privacy Landscape of Synthetic Data」は、この能力とプライバシーのトレードオフを、データ処理と学習方法の両面から比較しています。実験には、漏えいを探るための canary（意図的に埋め込んだ検出用マーカー）を含む合成医療記録が使われました。

主な発見

• 直接ファインチューニングは高性能だが、漏えいも大きい。 記録をそのまま学習する方法は、タスクに必要な情報を最も多く保持し、能力指標では優位でした。一方で、私的な情報を再現するリスクも最も高くなりました。
• DP-SGDには明確な代償がある。 差分プライバシー付き確率的勾配降下法は漏えいを減らしますが、モデルの能力を大きく損ないます。プライバシー保護を学習段階だけに任せる場合、性能コストを無視できません。
• データ生成は学習前の対策になる。 元の記録から新しい合成記録を作ることで、下流モデルが元データの細部をそのまま再現する可能性を、データ段階から下げられます。
• 単純な言い換えより、プライバシー配慮型の書き換えが有効。 固有性の高い個人情報を見つけて置き換えるよう指示した場合、通常のパラフレーズより保護効果が高くなりました。この傾向は複数の書き換えモデルで確認されています。
• より強いモデルなら常に改善するわけではない。 高性能な書き換えモデルは一般に下流の漏えいリスクを下げますが、留保データへの適合度は単調には向上しません。テスト時の計算量を増やしても、改善は一貫しませんでした。

意義と影響

この研究が示すのは、「合成データなら安全」という単純な結論ではありません。重要なのは、どの情報を残し、どの情報を変えるかです。文章の表現だけを変えても、珍しい属性の組み合わせや個人を特定しやすい細部が残れば、漏えいリスクは続く可能性があります。したがって、生成時にレコードの固有性を意識し、識別につながる情報を置き換える設計が必要になります。

評価方法にも意味があります。canaryを使った検証は、モデルが特定の情報を記憶しているかを直接調べる手段になります。同時に、能力指標や留保データでの評価を組み合わせれば、プライバシー改善が過度な性能低下によるものかどうかも確認できます。

医療、金融、顧客サポートなどの現場では、プライバシー配慮型のデータ生成、漏えいテスト、必要に応じた差分プライバシーを組み合わせることが現実的な方向です。ただし、この結論は合成医療記録と特定の評価枠組みに基づくため、実データや実際の攻撃、各地域の規制に対する追加検証が欠かせません。

出典：Hugging Face Daily Papers