음성 기반 아바타의 과제는 입 모양을 말소리에 맞추는 데서 끝나지 않는다. 사용자가 말하는 동안 영상도 빠르게 보여줘야 한다. 기존 영상 확산 모델 중 상당수는 몇 초 분량의 음성을 먼저 받은 뒤 여러 차례의 디노이징을 거쳐 영상을 만든다. 앞뒤 문맥을 활용할 수 있지만 입력이 모일 때까지 기다려야 하므로, 응답 지연이 중요한 음성 비서나 대화형 아바타에는 적합하지 않을 수 있다. AURA(AUdio-dRiven streaming Avatar)는 음성이 들어오는 대로 영상을 청크 단위로 생성하는 방식을 택했다.
핵심 내용
- 청크 단위의 인과적 생성. AURA는 롤링 KV 캐시와 인과적 어텐션을 사용한다. 양방향 모델처럼 몇 초 뒤의 음성까지 미리 요구하지 않고, 현재 청크의 음성만으로 생성을 시작할 수 있도록 설계됐다. 음성 입력 이후 시각적 응답이 나오기까지의 대기 시간을 줄이려는 접근이다.
- 서로 다른 두 모델 규모. 논문에 따르면 AURA 1.3B는 단일 GPU에서 576p 영상을 20.7 fps로 생성하며, 재생 설정은 16 Hz다. AURA 5B는 720p 영상을 9.7 fps로 생성한다. 작은 모델은 실시간 상호작용에, 큰 모델은 더 높은 해상도에 초점을 둔다. 다만 이는 논문에서 보고한 결과이며 모든 GPU와 배포 환경에서 같은 성능을 보장하지는 않는다.
- 속도와 품질을 위한 2단계 증류. 첫 단계에서는 인과적 학생 모델이 더 적은 확산 단계로 교사 모델의 생성 궤적을 학습한다. 이때 청크별 슬라이딩 윈도우 인과 어텐션 마스크를 적용한다. 다음 단계에서는 역방향 시뮬레이션을 포함한 분포 매칭 증류(DMD)를 수행해 남은 품질 차이를 줄인다.
- 벤치마크 비교와 공개 자료. 표준 토킹헤드 벤치마크에서 1.3B 모델은 자체 양방향 교사 모델보다 23배 빠르고, 더 낮은 해상도에서 TalkVerse와 비슷한 품질을 달성했다고 보고됐다. 5B 모델은 720p에서 TalkVerse 교사 모델에 맞먹는 품질을 내면서 17배 빠르다. 연구팀은 재현과 후속 연구를 위해 두 모델의 가중치와 합성 영상 3만 개도 공개했다.
스트리밍 방식의 의미와 한계
AURA의 핵심은 긴 입력을 모두 모은 다음 영상을 생성하는 작업 흐름을, 필요한 음성이 도착하는 시점부터 영상 생성으로 이어지는 흐름으로 바꾸려는 데 있다. 캐시는 이전 문맥을 유지하고 인과적 제약은 미래 음성에 의존하지 않도록 한다. 이 조합은 음성 비서, 대화형 아바타, 디지털 휴먼 라이브 서비스에 더 적합한 생성 경로를 제시한다.
다만 공개된 요약만으로는 실제 애플리케이션의 종단 간 지연 시간, 장시간 실행 안정성, 화자나 조명, 동작 조건이 달라질 때의 성능을 판단하기 어렵다. 20.7 fps는 16 Hz 재생 설정보다 높은 수치지만, 그 자체가 시스템 전체의 응답 시간을 뜻하지는 않는다. 공개된 가중치와 데이터는 외부 검증에 도움이 되지만, 실제 배포에서는 대상 하드웨어와 애플리케이션의 처리 과정을 함께 평가해야 한다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…