AV-FABLE, 장편 영상의 음성·영상 조작을 이중 타임라인으로 추적

들어가며

장편 영상의 AI 조작은 영상 전체를 가짜로 만드는 방식만을 뜻하지 않습니다. 인터뷰, 강연, 행사 기록, 개방형 장면 속에 몇 초 분량의 조작된 발화나 소리, 화면을 삽입하는 경우도 있습니다. 따라서 “이 영상은 진짜인가”라는 영상 단위의 판정만으로는 포렌식 분석에 충분하지 않습니다. 조작이 발생한 시점과 문제가 음성에 있는지, 영상에 있는지도 함께 밝혀야 합니다.

논문 「AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos」는 이 문제를 다루기 위해 새로운 벤치마크와 분석 방법을 제안합니다. 핵심은 음성과 영상을 하나의 시간축으로 뭉뚱그리지 않고, 각 모달리티의 시간축에서 조작 위치를 따로 평가하는 것입니다.

핵심 내용

• 장편·희소 조작에 초점을 맞춘 데이터셋. AV-FABLE은 원본과 조작본으로 구성된 16,650쌍을 제공하며, 총 998시간과 27가지 편집 설정을 포함합니다. 음성 조작 위치와 영상 조작 위치를 독립적으로 기록합니다.
• 분리된 시간축으로 오류를 진단. 공동 시간축만 사용하면 모델이 대략적인 시점은 맞혀도, 음성 문제인지 영상 문제인지 구분하지 못하는 오류가 가려질 수 있습니다. AV-FABLE은 이 차이를 별도로 측정합니다.
• 프롬프트만으로는 포렌식 성능이 부족. 음성·영상 대규모 언어 모델에 제로샷 질문을 던졌을 때 조작 탐지는 거의 무작위 수준이었고, 시간 위치 추정도 약했습니다. 이는 모델 내부에 단서가 없기보다 언어 출력이 해당 단서를 충분히 드러내지 못한다는 해석과 맞닿아 있습니다.
• NFSR은 동결 특징을 직접 읽는다. Native Forensics via Separated Readouts는 음성·영상 모델의 인식 특징을 동결한 뒤, 음성과 영상에 각각 시간 디코더를 연결합니다. 모델 표현 속에 이미 존재할 수 있는 포렌식 정보를 전용 읽기 구조로 추출하는 방식입니다.
• 분포 외 환경에서도 검증. NFSR은 AV-FABLE 내부 평가에서 가장 높은 음성·영상 위치 추정 성능을 보였고, 세 가지 분포 외 설정에서도 우수한 결과를 유지했습니다. 외부 장편 영상 포렌식 벤치마크의 보류 영상으로 전이하는 실험도 포함됩니다.

의미와 영향

AV-FABLE의 가장 큰 의미는 장편 영상 포렌식의 평가 단위를 세분화했다는 데 있습니다. 기존 음성·영상 딥페이크 벤치마크는 짧은 토킹헤드 영상에 집중하는 경향이 있었습니다. 반면 장편 개방형 장면에는 배경음, 카메라 이동, 장면 전환, 인물 이외의 대상이 포함되며, 조작은 짧은 사건에만 나타날 수 있습니다. 음성과 영상을 나누어 평가하면 “이상 징후를 발견했다”와 “이상 징후의 출처를 설명했다”를 구분할 수 있습니다.

이 연구는 멀티모달 기반 모델을 활용하는 방법에도 중요한 시사점을 줍니다. 모델 내부 표현에 유용한 시청각 정보가 들어 있어도, 그것이 신뢰할 수 있는 자연어 답변으로 자동 변환된다는 보장은 없습니다. 정확한 시간 경계가 필요한 포렌식 작업에서는 프롬프트 개선만 시도하기보다, 범용 인식 모델을 동결하고 모달리티별 시간 읽기 모듈을 추가하는 방법이 더 효과적일 수 있습니다.

물론 실제 적용을 위해서는 해결할 문제가 남아 있습니다. 벤치마크에 없는 편집 방식에 대한 대응, 오탐 감소, 조사자가 결과를 검증할 수 있는 증거 제시가 대표적입니다. 그럼에도 AV-FABLE은 영상이 의심스러운지 여부를 넘어, 언제 어떤 모달리티가 조작됐는지를 측정하는 구체적인 기준을 제시합니다.

출처: Hugging Face Daily Papers