LLM-Attacker, 분할형 LLM 프라이버시 평가를 재현 가능하게 만들다

들어가며

분할형 언어 모델은 사용자의 원문을 클라이언트에 보관하면서 계산 중간의 활성값을 서버로 보냅니다. 학습 과정에서는 서버가 그래디언트를 반대 방향으로 반환할 수도 있습니다. 따라서 원문 자체를 전송하지 않는다는 사실만으로는 프라이버시가 보장되지 않습니다. 활성값과 그래디언트 모두 입력 텍스트를 복원하는 데 활용될 수 있는 신호를 포함할 가능성이 있습니다.

문제는 평가 결과를 서로 비교하기도 어렵다는 점입니다. 어떤 연구에서는 공격자가 활성값만 볼 수 있지만, 다른 연구에서는 그래디언트까지 이용합니다. 모델 가중치에 대한 지식, 사용한 데이터셋, 복원 성공을 판단하는 방식도 제각각입니다. LLM-Attacker는 새로운 공격 하나를 제시하는 데 그치지 않고, 프라이버시 평가 과정 자체를 점검 가능한 형태로 만들려 합니다.

핵심 내용

• 공격 표면을 명시한다. 공격자가 어떤 메시지를 볼 수 있는지, 모델 가중치나 추가 지식을 알고 있는지를 기록합니다.
• 관측 메시지를 재사용한다. 조건이 맞는 공격은 동일하게 저장된 메시지를 사용해 비교할 수 있어 입력 차이의 영향을 줄입니다.
• 공격 예측을 보존한다. 최종 점수만 공개하지 않고 예측 결과를 저장해 제3자가 독립적으로 다시 채점할 수 있게 합니다.
• 미방어 기준을 요구한다. 방어책이 효과가 있다고 주장하려면 연결된 미방어 기준 평가가 먼저 필요합니다.
• 검증하지 않은 공격을 표시한다. 테스트한 공격만으로 전체 시스템의 안전성을 주장하지 않도록 평가 공백을 함께 보고합니다.

실험이 보여준 점

통제된 GPT-2 실험에서 학습 중 서버가 반환한 그래디언트를 공격자에게 추가하자 토큰 복원율은 94.20%에서 97.38%로 높아졌습니다. 문서 전체를 정확히 복원하는 비율도 13.71%에서 37.77%로 상승했습니다. 토큰 복원율 증가에 대해서는 테스트 전에 2%포인트 기준을 정했고, 95% 구간은 그 기준을 상회했습니다.

이 결과를 모든 분할형 모델에 적용되는 고정된 유출률로 해석해서는 안 됩니다. 핵심은 공격자가 어떤 메시지를 볼 수 있는지에 따라 측정되는 프라이버시 위험이 달라질 수 있다는 점입니다. 연구는 코퍼스 선택, 압축 방어, 기존 공격의 수정 구현과 참조 구현, 측정 코드도 추가로 살펴봅니다. 또한 구현 검증과 실제 공격 효과 측정을 별도 항목으로 보고합니다.

의미와 한계

이 작업의 가장 큰 의미는 평가 방법의 투명성을 높인다는 데 있습니다. 시스템 개발자는 클라이언트의 원문만 보호할 것이 아니라 활성값, 그래디언트, 압축 과정과 이들의 조합까지 점검해야 합니다. 연구자는 동일한 기록과 채점 절차를 바탕으로 공격과 방어를 비교하고, 결과를 독립적으로 다시 계산할 수 있습니다.

다만 프레임워크가 모든 불확실성을 없애는 것은 아닙니다. 결론은 공격자 모델, 데이터셋, 모델 설정, 복원 지표에 의존합니다. 아직 테스트하지 않은 공격을 효과가 없다고 볼 수도 없습니다. 따라서 프라이버시 주장은 공격자가 본 정보, 복원 성공의 정의, 사용한 대조군, 평가에서 제외된 공격을 함께 밝혀야 합니다.

출처: Hugging Face Daily Papers