UniSwap: 얼굴과 목소리 교체를 하나의 스트리밍 모델로

들어가며

말하는 영상에서 인물을 바꾸는 작업은 단순한 얼굴 교체가 아니다. 설득력 있는 결과를 만들려면 참조 인물의 외형과 목소리 음색을 옮기면서도, 원본 영상의 동작, 장면, 발화 내용, 입 모양, 오디오-비디오 타이밍을 유지해야 한다. Hugging Face Daily Papers에 소개된 UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos는 이 문제를 하나의 스트리밍 오디오-비주얼 생성 프레임워크로 풀어보려는 연구다.

기존 접근은 대체로 시각 모델과 음성 모델을 분리해 최적화했다. 하나는 얼굴이나 외형을 바꾸고, 다른 하나는 목소리를 변환하는 식이다. 이런 방식은 구성하기 쉽지만, 두 모델의 목표와 오류가 다르기 때문에 입 모양과 음성의 불일치, 표정과 발화 리듬의 어긋남, 장시간 생성에서의 신원 흔들림이 발생하기 쉽다. UniSwap은 외형 전이와 음색 전이를 단일 오디오-비주얼 확산 Transformer 안에서 함께 처리한다는 점을 내세운다.

핵심 포인트

• 통합 신원 교체: 원본 영상, 참조 이미지, 참조 음성 클립을 입력으로 받아 원본의 내용과 움직임은 보존하면서 참조 인물의 외형과 음색을 전이한다.
• 스트리밍 지향 설계: 블록 단위 생성과 KV 캐시를 활용하는 구조를 통해 짧은 오프라인 클립뿐 아니라 더 긴 영상이나 연속 생성 상황을 염두에 둔다.
• 학습 데이터 부족 완화: 서로 다른 신원 간에 정렬된 음성-영상 학습 쌍은 확보하기 어렵다. 이를 위해 swap-and-reconstruct 파이프라인을 도입해 실제 클립에서 시각적·음성적 신원 정보를 제거하고, 원본 클립을 재구성 목표로 사용한다.
• 단계적 적응 과정: 양방향 백본에서 출발해 In-context Pretraining으로 공동 교체 능력을 학습하고, Conditional Streaming Adaptation으로 블록 인과 생성에 적응하며, Efficient Self-forcing DMD로 노출 편향을 줄이고 샘플링 부담을 낮춘다.
• 장시간 추론 안정성: Feature-RoPE Decomposition을 통해 캐시 위치가 학습 범위를 벗어나지 않도록 해 긴 형식의 추론을 더 안정적으로 지원한다.

의미와 영향

UniSwap의 의미는 얼굴과 목소리를 동시에 바꾼다는 기능 자체에만 있지 않다. 더 중요한 점은, 동기화가 핵심인 작업에서는 음성과 영상을 하나의 모델 안에서 함께 제약해야 한다는 방향성이다. 이렇게 하면 입 모양, 표정 변화, 발화 리듬, 신원 단서 사이의 정합성을 더 잘 유지할 가능성이 있다.

응용 가능성은 넓다. 영상 후반 작업, 더빙, 가상 발표자, 교육 콘텐츠, 실시간 인터랙티브 비디오 등이 대표적이다. 동시에 초상권, 음성 복제, 동의 없는 신원 사용, 딥페이크 탐지, 워터마킹 같은 문제도 함께 따라온다. 따라서 실제 활용에는 기술적 성능뿐 아니라 안전장치와 사용 규칙이 필요하다.

논문이 강조하는 또 다른 축은 효율성이다. DMD 기반 self-forcing으로 블록당 디노이징 단계를 줄이고, KV 캐시와 Multi-LoRA Switching을 활용해 스트리밍 추론 부담을 낮추려 한다. 이는 생성 AI가 짧은 데모 중심의 단일 모달리티 생성에서, 길고 연속적이며 동기화된 멀티모달 스트리밍 시스템으로 이동하고 있음을 보여준다.

출처: Hugging Face Daily Papers