Venus-DefakerOne2, 시각 포렌식의 적용 범위를 넓히다

들어가며

현실의 위조 콘텐츠는 얼굴 바꾸기에만 머물지 않습니다. 이미지 편집, 생성 모델이 만든 합성물, 문서 변조, 화면이나 사진을 이용한 물리적 기만도 시각 시스템을 속일 수 있습니다. 공격 대상 역시 정지 이미지에서 동영상으로 확대되고 있습니다. Venus-DefakerOne2는 서로 다른 위조 유형을 하나의 시각 포렌식 기반 모델로 다루고, 이진 판정을 수행하는 것을 목표로 합니다.

핵심 내용

• 넓어진 위조 범위. 평가 대상은 딥페이크 얼굴, AI 생성 이미지, 변조 문서, 조작된 자연 이미지, 물리적 스푸핑, AI 생성 동영상입니다.
• 혼합 미세조정 전략. 수천만 개의 공개 및 내부 샘플을 활용하고 Tide-Style-Tuning을 적용합니다. LoRA와 전체 파라미터 미세조정을 번갈아 수행해 계산 효율, 일반화, 어려운 샘플에 대한 적응을 균형 있게 확보하면서 치명적 망각을 줄이려는 방식입니다.
• 엔트로피 기반 테스트 적응. Entropy-based Test Adaptation은 예측 엔트로피를 분석해 적절한 예측 모달리티를 선택합니다. 제공된 초록에는 모달리티의 구체적인 정의가 설명되어 있지 않습니다.
• 보고된 벤치마크 성능. 딥페이크 얼굴 96.7%, AI 생성 이미지 93.3%, 변조 문서 87.6%, 조작된 자연 이미지 89.6%, 물리적 스푸핑 93.1%, AI 생성 동영상 96.0%입니다. 저자들은 전문 탐지 모델과 이전 버전인 DefakerOne보다 높은 성능을 보였다고 설명합니다.

의미와 한계

이 연구의 의미는 시각 포렌식 모델의 적용 단위를 넓혔다는 데 있습니다. 기존 탐지기는 특정 조작 유형이나 미디어 형식에 맞춰 설계되는 경우가 많아 새로운 데이터 분포, 압축 조건, 공격 경로로 옮겨갈 때 성능을 그대로 유지하기 어렵습니다. Venus-DefakerOne2는 디지털 조작과 물리적 기만, 이미지와 동영상을 한 모델 안에서 다루려 합니다.

Tide-Style-Tuning은 기반 모델 적응 과정의 현실적인 절충을 보여줍니다. LoRA는 자원 부담을 낮출 수 있지만 어려운 사례에 대한 적응력이 제한될 수 있습니다. 전체 파라미터 학습은 더 유연하지만 비용이 크고 기존 능력을 덮어쓸 위험이 있습니다. 두 방식을 교대로 사용하는 설계는 타당해 보이지만, 실제 효과는 제거 실험과 도메인 간 평가를 함께 확인해야 합니다.

다만 제시된 비율만으로 실제 서비스의 안전성을 판단해서는 안 됩니다. 제공된 자료에는 데이터셋 규모, 임계값, 오탐률, 미탐률, 추론 비용이 포함되어 있지 않습니다. 본인 인증, 콘텐츠 심사, 미디어 출처 확인처럼 위험이 큰 업무에서는 모델 결과를 사람의 검토와 다른 포렌식 신호에 함께 활용하는 편이 적절합니다.

종합하면 Venus-DefakerOne2는 개별 전문가 모델에서 더 폭넓은 시각 위조 방지 기반 모델로 이동하려는 방향을 보여줍니다. 새로운 생성 도구, 변화하는 촬영 환경, 진화하는 공격에서도 안정적인지는 추가 기술 공개와 독립적인 재현 검증이 필요합니다.

Hugging Face Daily Papers