배경
영상 생성 모델이 눈에 띄는 왜곡과 깜박임을 줄이면서, 외형상의 결함에 의존하는 탐지 방식은 점점 취약해지고 있습니다. Show Lab 연구진은 개별 모델의 시각적 결함을 쫓는 대신, 생성 및 디코딩 과정이 남길 수 있는 시간적 구조에 주목했습니다. 이 흔적을 VAE Rhythm이라고 부릅니다.
디코딩 과정에 남는 주기
많은 영상 생성기는 잠재 표현을 만든 뒤 3D 인과 VAE를 사용해 연속 프레임으로 디코딩합니다. 이 디코더는 프레임을 각각 독립적으로 처리하기보다 인접한 프레임을 묶어서 처리하는 경우가 있습니다. 논문에 따르면 4프레임 그룹이 흔하며, LTX와 Kling 3.0 같은 모델은 8프레임 그룹을 사용할 수 있습니다. 이때 프레임의 재구성 충실도가 그룹 내 위치에 따라 오르내리며 주기적인 변화를 만들 수 있습니다. 프레임 단위로 촬영되는 실제 영상에는 동일한 생성 단계의 그룹 구조가 없으므로, 이러한 특정 리듬이 나타나지 않는다는 것이 연구의 관찰입니다.
핵심 단서는 재구성 오차의 절대 크기가 아닙니다. 프레임 그룹의 정렬 위치를 바꿀 때 오차가 주기적으로 변하는지가 중요합니다.
학습 없는 phase scan
연구진이 제안한 phase scan은 별도 학습 없이 기존 영상 VAE를 이용합니다. 같은 클립을 연속적인 시작 프레임 오프셋에서 재구성한 뒤, 각 오프셋에 따른 재구성 오차의 주기성을 측정합니다. 스캔에서 묶는 프레임과 원래 생성기의 디코딩 그룹이 맞으면 잔차가 낮아지고, 오프셋을 이동하면 정렬 상태가 달라져 오차가 주기적으로 출렁입니다. 보고된 실험에서 실제 영상의 곡선은 비교적 평탄했습니다. 즉, 오차의 크기 자체보다 오프셋에 따른 주기성을 탐지합니다.
연구진은 31개 생성기의 39개 모델 변형을 조사해 대부분에서 VAE Rhythm을 확인했다고 보고했습니다. 여기에는 폐쇄형 모델인 Sora, Kling 3.0, Seedance 2.0도 포함됩니다. DF26에서 학습 없는 리듬 점수는 76.2% AUROC를 기록해 비교 대상인 재학습 기준선 15개보다 높았습니다. 또한 리듬 신호를 플러그인으로 추가했을 때 평가한 탐지기 19개 모두에서 AUROC가 6.7~23.7포인트 개선됐습니다.
탐지기 적용과 남은 과제
논문은 실제 영상과 그 VAE 재구성본을 같은 후처리 조건에서 짝지어 학습 데이터를 만들고, 이를 CaDet 학습에 사용했습니다. 연구진은 CaDet이 AIGVDBench와 DF26, 그리고 2026년 폐쇄형 모델 3종 평가에서 높은 AUROC를 기록했다고 보고합니다. 생성 영상을 학습에 사용하지 않은 CaDet-GF도 AIGVDBench에서 보고된 두 결과 모두 90%를 넘었습니다. 따라서 디코딩 흔적은 단독 점수뿐 아니라 학습 기반 탐지기를 보완하는 신호로 활용될 가능성이 있습니다.
VAE Rhythm의 의미는 쉽게 제거할 수 있는 외형상 결함에서 생성 파이프라인의 구조적 특징으로 탐지 관점을 옮겼다는 점입니다. phase scan은 특정 생성기의 샘플로 미리 학습할 필요가 없고, 기존 탐지기와 결합할 수도 있습니다. 다만 모든 생성기가 같은 흔적을 남긴다거나, 단일 지표로 모든 영상의 진위를 가릴 수 있다는 뜻은 아닙니다. 실제 적용 전에는 코덱, 편집, 모델 업데이트가 신호에 미치는 영향을 더 살펴야 합니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…