합성 데이터는 정말 안전한가? LLM의 성능과 프라이버시 재검토

들어가며

의료 기록처럼 민감한 데이터를 언어 모델에 학습시키는 경우, 모델이 업무를 얼마나 잘 수행하는지만 볼 수는 없습니다. 학습 데이터에 포함된 개인 정보를 기억했다가 나중에 재현할 가능성도 함께 평가해야 합니다. 논문 ‘Exploring The Empirical Privacy Landscape of Synthetic Data’는 데이터 처리 단계와 학습 단계의 개입을 통제된 방식으로 비교하며, 성능과 프라이버시 사이의 균형을 살펴봅니다. 실험에는 유출 여부를 확인하기 위한 canary, 즉 의도적으로 삽입한 탐지용 표식이 포함된 합성 의료 기록이 사용됐습니다.

핵심 결과

• 직접 파인튜닝은 성능이 높지만 유출 위험도 가장 컸습니다. 원 기록을 직접 학습하면 과제에 필요한 정보가 가장 잘 보존되어 능력 지표에서 우수한 결과를 냅니다. 그러나 모델이 사적인 세부 정보를 재현할 가능성도 가장 높아집니다.
• DP-SGD는 보호 효과와 함께 큰 비용을 요구합니다. 차등 프라이버시 확률적 경사 하강법은 정보 유출을 줄였지만, 모델 능력의 상당한 저하를 동반했습니다. 학습 단계의 보호만으로 문제를 해결하면 성능 손실을 감수해야 한다는 의미입니다.
• 데이터 생성은 학습 전 단계의 방어 수단이 될 수 있습니다. 원 기록에서 새로운 합성 기록을 생성하면, 이후 모델이 민감한 세부 정보를 그대로 복사할 가능성을 데이터 수준에서 낮출 수 있습니다.
• 프라이버시 인식 재작성은 단순한 바꿔 쓰기보다 나았습니다. 고유하거나 식별 가능성이 높은 개인정보를 찾아 다른 내용으로 대체하도록 지시하면, 일반적인 패러프레이징보다 프라이버시 보호가 개선됐습니다. 이런 경향은 여러 재작성 모델에서 관찰됐습니다.
• 더 강한 모델이 모든 지표를 보장하지는 않습니다. 성능이 높은 재작성 모델은 대체로 후속 학습에서의 유출 위험을 낮췄지만, 홀드아웃 데이터 적합도는 모델 성능과 함께 단조롭게 좋아지지 않았습니다. 테스트 시 연산량을 늘리는 방법도 일관된 이득을 주지 않았습니다.

의미와 영향

이 연구가 말하는 핵심은 합성 데이터가 자동으로 안전하다는 것이 아닙니다. 무엇을 유지하고 무엇을 바꾸는지가 중요하다는 뜻입니다. 표현만 바꾼 뒤 희귀한 속성 조합이나 개인을 식별할 수 있는 세부 사항을 그대로 남겨 둔다면, 유출 위험은 지속될 수 있습니다. 따라서 생성 과정에서 기록의 고유성을 고려하고 식별에 기여하는 정보를 적극적으로 대체해야 합니다.

평가 체계도 주목할 만합니다. canary 기반 검사는 모델이 특정 정보를 기억하고 재현하는지를 직접 확인할 수 있게 해줍니다. 여기에 능력 지표와 홀드아웃 평가를 함께 적용하면, 프라이버시 개선이 실제 보호 조치의 결과인지 아니면 성능을 지나치게 낮춘 결과인지 구분할 수 있습니다.

의료, 금융, 고객 지원 등 민감한 환경에서는 프라이버시 인식 데이터 생성, 유출 탐지, 필요에 따른 차등 프라이버시를 여러 층으로 결합하는 접근이 현실적입니다. 다만 이 연구는 합성 의료 기록과 특정한 실증 평가 설정을 사용했으므로, 실제 데이터와 공격 방식, 관련 규제 환경에 대한 추가 검증 없이는 배포 결론으로 확대해서는 안 됩니다.

출처: Hugging Face Daily Papers