DF26: AI 영상은 이제 사람과 탐지기 모두를 속인다

들어가며

영상이 “진짜처럼 보인다”는 사실만으로 실제 촬영물이라고 판단하기는 점점 어려워지고 있다. 「DF26: We Cannot Tell Fake From Real Anymore」 논문은 이 문제를 직접 측정하기 위한 새로운 벤치마크를 제안했다. 전통적인 얼굴 교체나 일부 편집에만 의존하지 않고, 최신 텍스트-투-비디오와 이미지-투-비디오 모델이 만든 완전 합성 영상을 평가 대상으로 삼았다.

핵심 내용

• 현대적인 생성 방식을 시험한다. 합성 데이터는 과거 딥페이크 기법에서 반복되던 흔적이 아니라, 최근 비디오 생성 모델이 만들어낸 결과물로 구성됐다.
• 익숙한 발화 장면을 다룬다. 데이터에는 카메라를 직접 바라보는 녹화, 공식 성명, 스튜디오 인터뷰가 포함된다. 뉴스, 정치, 기업 발표와 온라인 미디어에서 자주 접하는 형식이다.
• 실제 영상과 합성 영상을 비교한다. DF26은 실제 영상 271개와 합성 영상 2,420개를 포함하며, 합성 데이터는 7개의 최신 비디오 모델에서 생성됐다.
• 사람과 탐지기 모두 뚜렷한 우위를 보이지 못했다. 연구 결과 사람의 판별 성능과 최신 딥페이크 탐지기의 성능은 모두 무작위 추측에 가까웠다. 영상을 주의 깊게 보거나 자동 탐지기에 맡기는 것만으로는 안정적인 진위 판별이 어려웠다는 뜻이다.

왜 중요한가

많은 탐지 시스템은 기존 데이터셋에서 학습하고 평가된다. 이런 방식은 모델이 알려진 조작 패턴을 배웠는지는 보여주지만, 생성 모델이 바뀌었을 때도 성능을 유지하는지는 보장하지 않는다. 새로운 모델이 움직임, 렌더링 통계, 얼굴 표현과 인물의 행동 양식을 바꾸면 기존 탐지기가 활용하던 단서가 사라질 수 있다. 사람 역시 영상의 전체 흐름이 자연스러울수록 작은 이상을 발견하기 어렵다.

DF26이 모든 생성 영상을 탐지할 수 없다고 결론 내린 것은 아니다. 더 중요한 메시지는 익숙한 벤치마크에서 높은 점수를 얻는 것과, 보지 못한 생성 모델에 강한 것은 서로 다르다는 점이다. 이는 콘텐츠 조정, 언론 검증, 공식 커뮤니케이션, 자동 판정 결과를 최종 결론으로 사용하는 업무에 직접적인 의미를 갖는다.

영향과 향후 과제

앞으로의 평가는 고정된 데이터셋 점수뿐 아니라 생성 모델의 분포 변화에 대한 견고함을 측정해야 한다. 새로운 모델과 미지의 모델이 만든 완전 합성 영상을 계속 추가하고, 학습 분포와 테스트 분포의 차이도 명확히 밝혀야 한다. 또한 탐지 결과는 절대적인 진위 판정이 아니라 출처 정보, 맥락, 여러 포렌식 신호와 함께 사용하는 하나의 근거로 다뤄야 한다.

사람과 현재의 탐지기가 동시에 어려움을 겪는다면, 해법은 단순히 더 강한 분류기를 만드는 데 있지 않다. 생성 기술의 변화에 맞춰 계속 갱신되는 평가와 검증 체계를 구축하는 일이 더 근본적인 과제가 된다.

출처: Hugging Face Daily Papers