OriginBlame, AI 학습 데이터 출처를 레코드와 token 단위로 추적

도입

데이터 제공자가 자신의 콘텐츠를 AI 학습 데이터에서 제거해 달라고 요청할 때, 실제 문제는 단순히 삭제 의사를 확인하는 데서 끝나지 않는다. 모델 학습자는 어떤 학습 레코드가 그 제공자에게서 왔는지 알아야 한다. 대부분의 machine unlearning 알고리즘은 잊어야 할 대상인 forget set을 필요로 하지만, 데이터가 정제, 분할, 중복 제거, 포맷 변환, token화 과정을 거치면 원 출처를 추적하기 어려워진다.

arXiv 논문 “OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets”는 이 공백을 겨냥한다. 논문이 제안한 OriginBlame, 즉 ob는 AI 학습 데이터셋을 위한 출처 추적 시스템으로, 작성자 식별 정보를 데이터 처리 파이프라인을 따라 전파하고 삭제 요청을 결정적 쿼리로 해석하도록 설계됐다.

핵심 요점

• 더 세밀한 출처 관리: 기존 provenance 시스템은 파일 또는 데이터셋 수준에 머무르는 경우가 많다. 이 경우 한 명의 작성자가 삭제를 요청해도 훨씬 큰 단위의 데이터를 지워야 할 수 있다.
• 요청을 forget set으로 변환: OriginBlame은 작성자 철회 요청을 실제 학습 레코드 목록으로 연결해 unlearning 알고리즘이 사용할 수 있는 정밀한 forget set을 만든다.
• 과도한 삭제 감소: 219,555개 Wikipedia 페이지 평가에서 레코드 수준 provenance는 데이터셋 수준 방식의 101x 과도 삭제를 1.3x로 낮췄다고 보고됐다.
• 파이프라인 비용 측정: wiki 데이터에서 HuggingFace 통합은 1.3%~4.0%, Datatrove 통합은 2.1%~19.0%의 처리량 오버헤드를 추가했다.
• unlearning 개선: 1.7B 파라미터 모델 실험에서 provenance 기반 forget set은 무작위 기준 대비 unlearning 성능을 42% 개선했다.

의미와 영향

이 연구는 데이터 삭제권과 모델 unlearning을 실제 인프라 문제로 끌어내린다는 점에서 중요하다. 학습 조직이 특정 기여자의 데이터를 식별할 수 없다면, 파일 전체나 데이터셋 전체를 삭제하는 거친 방식을 택해야 하고, 이는 유용한 데이터 손실과 모델 품질 저하로 이어질 수 있다.

OriginBlame이 주는 메시지는 분명하다. AI 데이터 거버넌스는 모델이 학습된 뒤에 덧붙이는 기능이 아니라, 전처리 단계부터 내장돼야 한다. 출처 메타데이터는 데이터가 섞이고 token화되기 전에 보존될 때 감사, 철회 요청, unlearning에 실질적으로 쓰일 수 있다.

물론 이 논문이 저작권, 동의, 개인정보 문제를 모두 해결하는 것은 아니다. 결과도 논문에서 다룬 데이터, 파이프라인, 모델 규모 안에서 해석해야 한다. 그럼에도 OriginBlame은 향후 AI 학습 데이터 인프라가 코드 버전 관리처럼 정밀한 출처 관리 체계를 갖춰야 한다는 방향을 보여준다.

Source: arXiv