분할 LLM 학습에서 반환 그래디언트가 디코이를 무력화

들어가며

분할형 LLM 학습은 민감한 텍스트를 로컬에 남겨 둔 채 모델의 일부 계산을 클라우드에 맡기는 방식이다. 지금까지의 프라이버시 평가는 주로 클라우드로 전송되는 활성값에 집중했다. 활성값에서 원문을 복원할 수 있는지를 확인하면 된다고 본 것이다. 그러나 이번 시스템 보안 연구는 역방향 통신, 즉 로컬 노드가 클라우드로 돌려보내는 출력 그래디언트도 별도의 정보 채널이 될 수 있다고 지적한다.

디코이가 드러나는 이유

연구 대상은 손실 함수와 비공개 라벨을 보유한 신뢰 로컬 노드(TLN), 그리고 모델 계산을 수행하는 비신뢰 클라우드 노드(UCN)로 구성된다. TLN은 보호된 활성값을 UCN으로 보내고, UCN은 계산 결과를 반환한다. 이후 TLN은 로컬에서 손실을 계산해 출력 그래디언트를 만든 뒤 이를 클라우드로 다시 보낸다.

익명성 집합을 키우기 위해 전송 프레임에는 실제 데이터 행과 합성 디코이 행이 함께 들어간다. 문제는 손실 함수가 디코이 행을 사용하지 않는다는 점이다. 따라서 디코이의 그래디언트는 작은 값이 아니라 정확히 0이 된다. 클라우드는 반환된 텐서에서 0과 0이 아닌 행의 패턴을 확인해 어느 행이 실제 데이터인지 알아낼 수 있다. 콘텐츠를 직접 보여주지 않더라도 학습 프로토콜의 구조가 행 위치를 공개하는 셈이다.

실험에서 확인된 내용

• 평가 프로토콜은 사전에 고정됐고, 알려진 강도의 누출을 주입해 측정 도구가 실제 신호를 탐지하는지 확인했다.
• 9개 시드에서 모든 프레임의 실제 행이 식별됐으며, 실행마다 4096개 중 4096개를 맞혔다.
• 프레임 내용에 대한 공격은 상수 추측 기준보다 100개 토큰당 약 1개를 더 복원했다. 개선 폭은 0.65~1.50%포인트였다.
• 라벨을 섞은 대조군에서는 복원이 발생하지 않아, 평가기가 항상 누출을 보고한 것은 아님을 확인했다.
• 모델 품질을 허용된 예산 안에 유지한 설정에서도 같은 문제가 나타났다. 따라서 배포 불가능한 실험 조건에 국한된 현상은 아니었다.

가장 중요한 결과는 검사 범위에 따라 결론이 달라졌다는 점이다. 순방향 채널만 점검했을 때 시스템은 프라이버시와 품질 검사를 모두 통과했다. 반환 그래디언트를 포함하자 같은 프라이버시 검사에 실패했다. 활성값만 보는 감사는 양방향 학습 프로토콜 전체를 평가하지 못한다.

완화책과 시사점

각 그래디언트 행을 클리핑하고 디코이 행에도 노이즈를 추가하면, 연구에서 확인한 구조적 누출은 약 0.01 nat의 홀드아웃 교차엔트로피 비용으로 차단됐다. 다만 이 조치가 시스템 전체의 안전을 보장하는 것은 아니다. 그래디언트에는 입력과 라벨에 관한 정보가 남을 수 있고, 여러 학습 단계에서 축적되는 통계적 차이가 실제 행과 디코이를 다시 구분하게 만들 수도 있다.

분할 학습의 프라이버시 경계는 원문이 로컬 밖으로 나갔는지만 보는 수준을 넘어야 한다. 활성값과 그래디언트, 마스킹 규칙, 0값의 분포, 반복 단계 사이의 상관관계까지 함께 감사해야 한다. 디코이를 넣는 것만으로 익명성이 생기지는 않는다. 실제 행과 동일한 계산 경로를 제공하거나 그래디언트의 구조적 신호를 숨기지 못하면, 디코이는 보호 장치가 아니라 식별 단서가 될 수 있다.

출처: Hugging Face Daily Papers