얼굴 붙이기 탐지를 넘어
얼굴 딥페이크 탐지기는 흔히 생성된 얼굴을 실제 영상 프레임에 붙여 넣는 조작 사례를 학습합니다. 이 과정에서는 경계가 섞이는 방식이나 국소적인 질감에 흔적이 남을 수 있습니다. 하지만 최근 생성 기술은 얼굴 전체를 합성할 수 있어, 탐지기가 의존하던 붙임 경계가 사라집니다. TwinD는 이렇게 블렌딩 기반 조작과 얼굴 전체 합성(EFS) 사이에서 벌어지는 탐지 성능 차이를 줄이려는 접근입니다.
실제 프레임에서 만든 두 종류의 ‘트윈’
TwinD는 FaceForensics++의 딥페이크 사례와 함께 실제 프레임을 바탕으로 만든 두 종류의 학습 샘플을 사용합니다. 첫 번째인 재구성 트윈은 실제 프레임을 오토인코더로 재구성한 뒤, 무작위로 선택한 한 영역의 픽셀을 원본으로 되돌려 만듭니다. 재구성 이미지에 남을 수 있는 디코더의 신경망 흔적을 모델이 포착하도록 설계됐습니다.
두 번째 블롭 트윈은 변형한 프레임 복사본을 원본 프레임과 섞어 만듭니다. 특정 생성기를 사용할 필요가 없고 얼굴 모양의 마스크도 만들지 않으면서 블렌딩 아티팩트를 학습시키려는 방식입니다. 재구성 트윈은 재구성 과정의 흔적을, 블롭 트윈은 이미지가 섞일 때 생기는 흔적을 겨냥합니다. 두 신호를 함께 쓰면 특정 도구나 얼굴 경계 하나에만 의존하지 않는 탐지를 기대할 수 있다는 것이 연구의 아이디어입니다.
논문은 딥페이크 데이터셋을 전혀 쓰지 않고 트윈만으로 학습했을 때도, 세 개의 랜덤 시드 기준 단일 모델의 평균 AUROC가 94.3%였다고 보고합니다. 알려진 조작 사례가 제한된 상황에서도 학습 샘플을 구성하는 방식이 유용한 감독 신호를 제공할 수 있음을 시사합니다. 다만 이 결과만으로 앞으로 등장할 모든 생성 콘텐츠를 탐지할 수 있다고 결론 내릴 수는 없습니다.
벤치마크 결과와 의미
평가에는 2019년부터 2026년까지 공개된 19개 데이터셋이 포함됐습니다. 논문 요약에 따르면 기존 최고 얼굴 딥페이크 탐지기는 블렌딩 데이터셋 10개에서 평균 AUROC 96.2%를 기록했지만, 얼굴 전체 합성 데이터셋 5개에서는 기존 모델 중 어느 것도 78.1%를 넘지 못했습니다. 범용 AI 생성 콘텐츠 탐지기도 이 격차를 해소하지 못했습니다. TwinD는 전체 평균 96.3%, 블렌딩 데이터셋 98.1%, EFS 데이터셋 95.6%를 보고합니다. AUROC는 실제 이미지와 조작 이미지를 얼마나 잘 구분하는지 측정하는 지표로, 일반적으로 높을수록 판별력이 좋습니다.
핵심은 전체 점수의 소폭 상승보다 얼굴 전체 합성에서 보고된 개선입니다. 여러 출처의 데이터와 실제 배포 조건에서도 재현된다면, 서로 다른 흔적을 활용하는 학습 방식이 변화하는 조작 기술에 대응하는 데 도움이 될 수 있습니다. 그러나 벤치마크 점수가 모든 생성기, 강하게 압축된 영상, 실제 유통 환경에서의 성능을 보장하지는 않습니다. 초록에는 조작 유형별 오탐·미탐 등 세부 정보도 제시되지 않았습니다. 따라서 TwinD는 일반화 개선 가능성을 보여주는 근거이지, 딥페이크 탐지가 완전히 해결됐다는 증거는 아닙니다. 저자들은 코드와 학습 모델, 학습 데이터를 공개했다고 밝혔습니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…