SANA-Video 2.0: 하이브리드 어텐션으로 고해상도 비디오 생성을 가속

도입

비디오 생성 모델은 해상도와 프레임 수, 영상 길이가 늘어날수록 attention 계산 비용이 빠르게 증가합니다. 특히 full-softmax 기반 비디오 Diffusion Transformer는 표현력은 강하지만 긴 시퀀스에서는 비용 부담이 큽니다.

SANA-Video 2.0은 이 병목을 줄이기 위해 attention 구조를 하이브리드 방식으로 설계한 모델입니다. 5B와 14B 두 규모가 하나의 통일된 아키텍처로 제시되며, 단일 GPU에서 최대 720p의 고품질 비디오 생성을 목표로 합니다. 핵심은 선형 어텐션의 긴 시퀀스 확장성을 유지하면서, 필요한 지점에 softmax 어텐션을 앵커처럼 배치하는 것입니다.

핵심 내용

• Hybrid Linear-Softmax Attention: 모든 층에서 이차 복잡도의 softmax attention을 사용하는 대신, 대부분의 혼합은 gated linear attention이 담당합니다. 여기에 3:1 비율로 gated-softmax anchor를 주기적으로 삽입해, 순수 선형 어텐션이 놓치기 쉬운 full-rank 토큰 상호작용을 복원하려 합니다.
• Block Attention Residuals, AttnRes: softmax anchor가 만든 갱신된 표현을 이후 층에서도 활용하기 위한 장치입니다. 완료된 블록의 요약 정보를 뒤쪽 선형 층으로 전달해 anchor 특징을 재사용합니다. 논문은 이 방식이 깊은 층의 effective rank를 약 12% 높였다고 보고합니다.
• 처음부터 하이브리드로 학습: SANA-Video 2.0은 기존 softmax 모델을 사후적으로 선형화한 접근이 아닙니다. 하이브리드 attention 구조를 전제로 처음부터 학습해, 모델이 이 구조에 직접 적응하도록 했습니다.
• 25% softmax의 절충점: 저해상도 proxy 연구를 통해, 품질과 효율 사이의 적절한 균형점으로 25% softmax가 제시됩니다. 이는 선형 attention과 softmax anchor의 3:1 배치로 이어집니다.
• 보고된 성능: 40단계 샘플링 기준으로, SANA-Video 2.0은 단일 H100에서 480p 비디오 생성 시 VBench 84.30을 기록하고 13.2초가 걸렸다고 합니다. 또한 720p/60s 설정에서 컴파일된 DiT forward는 대응되는 full-softmax 기준 모델보다 3.2배 빠르며, 비디오 길이가 길어질수록 차이가 커진다고 설명합니다.
• Sol-Engine 최적화: kernel fusion, caching, sparse attention을 포함한 Sol-Engine 최적화를 적용하면 하드웨어 친화적인 백본이 추가로 3.58배 빨라집니다. 논문은 5B 파이프라인이 720p/5s에서 13.06초를 달성했으며, 단일 H100에서 Wan 2.2-A14B보다 120배 빠르다고 보고합니다.

의미와 영향

SANA-Video 2.0의 핵심 의미는 full-softmax와 순수 선형 어텐션 사이의 실용적인 중간 경로를 제시했다는 데 있습니다. softmax를 전면적으로 쓰지 않으면서도, 주기적인 anchor와 residual 경로를 통해 전역 상호작용과 깊은 층의 표현력을 보강합니다.

이 결과가 다양한 조건에서 재현된다면, 장시간·고해상도 비디오 생성 모델 설계에 중요한 참고점이 될 수 있습니다. 또한 비디오 생성 경쟁이 단순한 파라미터 수 확대를 넘어, attention 구조, 학습 전략, 컴파일 및 추론 시스템 최적화의 결합으로 이동하고 있음을 보여줍니다.

출처: Hugging Face Daily Papers