텍스트-이미지 모델의 개념 삭제, 공격 테스트만으로는 부족한 이유

들어가며

텍스트-이미지(T2I) 확산 모델에서 특정 개념을 ‘삭제’하거나 잊게 만드는 기술은 모델 안전성과 저작권 대응의 핵심 과제로 떠오르고 있다. 삭제 대상은 NSFW 콘텐츠, 특정 예술 스타일, 특정 유명인의 정체성 등 다양하다. 일반적인 평가 방식은 자동화된 적대적 프롬프트 탐색을 수행한 뒤, 모델이 대상 개념을 다시 생성하는 비율을 공격 성공률로 기록하는 것이다.

하지만 이 방식은 유한한 프롬프트 집합만 확인한다. 논문 ‘Certifying Concept Unlearning in Text-to-Image Diffusion Models’는 검색되지 않은 표현의 변형, 우회적인 설명, 의미 조합이 삭제된 개념을 다시 활성화할 수 있다고 지적한다. 테스트에서 공격이 실패했다는 사실만으로 더 넓은 프롬프트 공간에서 누출이 없다고 결론 내리기는 어렵다는 뜻이다.

핵심 내용

• 경험적 점수에서 인증 가능한 상한으로. 제안 프레임워크는 사용자가 지정한 신뢰 수준과 오차 조건 아래에서 잔여 개념 누출 확률의 명시적 상한을 계산한다.
• 통계 분석과 최악 사례 분석을 결합. 통계적 인증과 함께 임베딩 공간의 개념 관련 방향을 따라 최악의 경우를 분석해, 표본으로 조사하지 않은 관련 프롬프트 변화까지 고려하려 한다.
• 세 가지 개념 범주를 평가. NSFW 콘텐츠, 예술 스타일, 유명인 정체성을 대상으로 6개의 최신 개념 삭제 방법을 비교했다.
• 기존 테스트는 낙관적일 수 있다. 인증된 누출 상한은 표준 공격 성공률보다 일관되게 16.2% 높았다. 자동화된 공격 평가만으로는 의미 있는 잔여 위험을 놓칠 수 있다는 결과다.

의미와 영향

이 연구의 핵심 기여는 새로운 삭제 학습 알고리즘을 제시한 데 있지 않다. 대신 모델이 실제로 개념을 잊었다고 판단하기 위한 평가 기준을 확장했다는 데 의미가 있다. 공격 성공률은 빠른 선별과 방법 간 초기 비교에는 유용하지만, 광범위한 프롬프트 공간에 누출이 없다는 점을 단독으로 입증하지는 못한다.

인증 프레임워크는 ‘테스트 집합에서 성공한 공격을 찾지 못했다’는 관찰을, 명시된 가정 아래에서 잔여 위험을 정량화하는 문제로 바꾼다. 개발자에게는 배포 전 안전성 판단을 위한 추가 근거가 되고, 플랫폼과 감사 조직에는 단일 벤치마크 수치를 넘어선 평가 수단을 제공한다.

다만 인증 결과는 통계적 설정, 개념을 표현하는 방식, 분석에 포함된 임베딩 방향에 의존한다. 따라서 가능한 모든 입력에 대한 절대적 증명으로 해석해서는 안 된다. 그럼에도 잔여 누출을 불확실한 위험으로만 남겨두지 않고 감사 가능한 상한으로 다룰 수 있게 했다는 점은 중요하다. 개념 삭제가 민감한 이미지 생성 영역으로 확대될수록 인증은 적대적 프롬프트 테스트를 대체하기보다 보완하는 필수 평가 절차가 될 가능성이 크다.

출처: arXiv