IDU, 생성 모델의 1단계 증류와 선택적 데이터 삭제를 결합

생성 모델을 실제 서비스에 적용할 때는 품질뿐 아니라 추론 비용과 학습 데이터 통제도 중요하다. 확산 모델과 플로 매칭 모델은 여러 단계의 샘플링으로 높은 품질을 얻지만, 반복적인 추론 때문에 비용이 커질 수 있다. 또한 학습 데이터에 포함된 내용 중 일부를 더 이상 생성하지 않아야 하는 상황도 발생한다. 새로운 연구는 생성 속도 개선과 선택적 데이터 삭제를 한 번에 수행하는 방법을 제안한다.

IDU가 해결하려는 문제

Inverse Distillation Unlearning, 즉 IDU는 전체 데이터로 학습된 다단계 교사 모델을 1단계 학생 생성기로 증류한다. 동시에 지정된 ‘삭제 집합’에 해당하는 출력의 생성을 줄인다. 삭제 집합은 특정 클래스처럼 모델이 더 이상 재현하지 않기를 바라는 학습 데이터의 부분집합으로 볼 수 있다.

이 방법의 중요한 특징은 보존할 데이터에 다시 접근하지 않아도 된다는 점이다. 학습에는 전체 데이터 교사 모델과 삭제 대상 샘플만 사용하며, 보존 학습 이미지나 추가 특징 추출기, 분류기가 필요하지 않다. 따라서 전체 모델을 처음부터 재학습하기보다 기존 모델의 동작을 목표에 맞게 수정하는 접근으로 이해할 수 있다.

분포 기반 접근

IDU는 개별 생성 샘플에 단순히 벌점을 주는 방식보다, 생성 분포와 교사 모델의 학습 분포 관계를 직접 다룬다.

• 증류와 삭제의 통합: 생성 품질 보존과 삭제 대상 억제를 순차적으로 처리하지 않고 하나의 목적함수에서 최적화한다.
• 혼합 분포 구성: 학습에 사용되는 분포를 삭제 집합 분포와 학생 모델의 생성 분포가 섞인 형태로 표현한다.
• 보존 데이터의 회복: 이 혼합 분포를 교사 모델의 원래 학습 분포와 비교해 지정되지 않은 부분을 남기는 방향으로 학습한다.
• 여러 교사 모델 지원: 플로 매칭 교사와 스코어 기반 확산 교사를 대상으로 평가해 공통된 정식화의 가능성을 확인했다.

실험 결과와 의미

연구진은 MNIST와 CIFAR-10에서 IDU를 평가했다. 플로 매칭과 스코어 기반 확산 설정 모두에서 삭제 대상 클래스가 생성되는 빈도가 크게 낮아졌고, 보존 클래스에서는 경쟁력 있는 생성 품질이 유지됐다. 제공된 자료에는 세부 수치가 없으므로, 이를 대규모 실제 서비스에서의 종합적인 성능 검증으로 확대 해석하기보다는 방법의 실현 가능성을 보여주는 결과로 보는 편이 타당하다.

IDU의 가장 큰 의미는 효율적인 추론과 선택적 모델 수정을 결합했다는 데 있다. 1단계 학생 모델은 샘플링 비용을 줄일 가능성이 있고, 삭제 목적함수는 개인정보, 데이터 철회, 원치 않는 기억 억제와 관련된 활용 경로를 제공한다. 다만 현재 검증은 소규모 이미지 데이터셋과 클래스 단위 삭제에 집중돼 있다. 개별 샘플 삭제, 대규모 이미지 모델, 조건부 생성, 삭제 후 잔존 기억을 측정하는 평가 등은 추가 연구가 필요하다. 그럼에도 IDU는 증류 과정에서 모델이 무엇을 보존하고 무엇을 생성하지 않을지 함께 설계할 수 있음을 보여준다.

출처: Hugging Face Daily Papers