LiveAnimate: 실시간 장편 인물 애니메이션을 가능하게 하다

LiveAnimate는 인물 애니메이션 생성이 실용화 단계에서 부딪히는 두 가지 문제, 즉 느린 생성 속도와 긴 시퀀스에서의 메모리 폭증을 함께 다룬다. 확산 모델은 품질 면에서 강하지만, 한 클립을 생성하는 데 시간이 오래 걸려 실시간 상호작용에는 적합하지 않다. 라이브 스트리밍, 텔레프레즌스, 가상 아바타처럼 즉답성과 지속성이 중요한 환경에서는 이 한계가 특히 크게 드러난다.

저자들은 14B 파라미터 비디오 Diffusion Transformer를 기반으로, 이를 장편 스트리밍 추론이 가능한 구조로 바꾸는 방식을 제안한다.

핵심 아이디어

• 2단계 학습: Reference-Anchored Teacher-Forcing Adaptation으로 사전학습된 양방향 DiT를 블록-인과적 자가회귀 생성기로 전환한다.
• 3스텝 샘플링: Block-wise Self-Forcing Distillation을 통해 샘플링 예산을 크게 줄인다.
• PR-Sink Attention: 전체 과거를 모두 저장하지 않고, Static Sink, 포즈를 기반으로 불러오는 Dynamic Sink, 그리고 3개 슬롯의 Rolling Window로 구성된 제한된 KV-cache를 사용한다.
• 포즈 재등장 대응: 비슷한 포즈가 다시 나오면 관련 외형 정보를 복원해 장시간 출력에서도 인물 일관성을 유지한다.
• 시스템 최적화: Ulysses sequence parallelism과 연산자 결합을 활용해 2개의 NVIDIA H100에서 19.63 FPS를 달성했다.

의미와 영향

LiveAnimate의 의의는 단순히 속도를 높인 것이 아니다. 이 연구는 비디오 생성에서 중요한 기준을 “한 번 잘 만드는가”에서 “오랫동안 안정적으로 이어지는가”로 옮긴다. 실제 서비스에서는 한 장면의 화려함보다, 같은 인물의 정체성과 외형을 유지하며 계속 반응할 수 있는지가 더 중요하다.

특히 PR-Sink는 메모리 관리 방식의 관점에서 흥미롭다. 모든 과거를 붙잡아 두는 대신, 초기 기준점과 필요한 과거만 선택적으로 되살리는 방식이기 때문이다. 이런 접근은 향후 스트리밍 비디오 생성, 디지털 휴먼, 장시간 인터랙티브 아바타에 널리 활용될 가능성이 있다.

즉 LiveAnimate는 확산 기반 인물 애니메이션을 오프라인 생성 도구에서 실시간 온라인 시스템으로 바꾸려는 시도라고 볼 수 있다.

출처: Hugging Face Daily Papers