Kaleido: 비디오 확산 Transformer를 위한 알고리즘·하드웨어 공동 설계

도입

비디오 확산 Transformer(vDiT)는 고품질 비디오 생성의 핵심 기술 중 하나로 부상했지만, 추론 비용은 매우 크다. 긴 확산 단계가 반복되고, 여기에 비디오 토큰을 대상으로 한 자기어텐션 계산이 더해지기 때문이다. 확산 단계 수를 줄이는 연구가 진행되면서 전체 비용 구조도 달라지고 있으며, 자기어텐션은 더욱 뚜렷한 병목으로 떠오르고 있다.

arXiv에 공개된 논문 “Kaleido”는 이 문제를 비디오 데이터의 특성에서 다시 바라본다. 대규모 언어모델에서 쓰이던 희소 어텐션 기법을 그대로 적용하는 대신, 비디오 잠재공간에 존재하는 시공간 상관성과 채널 간 유사성을 활용해 알고리즘과 하드웨어를 함께 설계한다.

핵심 내용

• 비디오에 맞춘 문제 정의: 논문은 기존 가속 기법 상당수가 LLM의 희소 어텐션 아이디어를 계승하지만, 비디오 데이터의 고유한 시공간 상관성을 충분히 반영하지 못한다고 지적한다.
• 채널 단위 재사용 알고리즘: Kaleido는 잠재공간에서 채널 방향으로 나타나는 시공간적 유사성을 이용한다. 부분 계산 결과를 재사용함으로써 중복 연산을 건너뛰고, 생성 품질을 유지하는 것을 목표로 한다.
• 어텐션에만 머물지 않는 가속: 초록에 따르면 Kaleido는 vDiT의 모든 연산을 가속 대상으로 삼는다. 이는 단일 커널 최적화가 아니라 더 넓은 추론 파이프라인을 겨냥한다는 뜻이다.
• 불규칙성을 처리하는 전용 가속기: 재사용 방식은 불규칙한 희소성과 데이터 접근 패턴을 만든다. 이를 위해 저자들은 재구성 가능한 처리 요소를 갖춘 시스톨릭 어레이 유사 구조와 경량 데이터 디스패처를 설계했다.
• 보고된 성능: 세 가지 주류 vDiT 모델 평가에서 Kaleido는 최신 가속기 대비 최대 5.9배 속도 향상과 16.0배 에너지 절감을 달성했다고 보고한다. 또한 기존 방법보다 17 dB를 넘는 생성 품질 우위를 유지했다고 설명한다.

의미와 영향

Kaleido의 핵심 가치는 비디오 생성 가속을 단순한 희소화 문제가 아니라 데이터 구조와 하드웨어 실행의 공동 최적화 문제로 본다는 점이다. 비디오 잠재공간의 시간, 공간, 채널 방향 중복성을 활용하면 전용 AI 가속기 설계에 새로운 여지가 생긴다.

이 접근이 더 큰 모델과 실제 배포 환경에서도 유지된다면, 비디오 생성 서비스의 비용과 전력 소모를 낮추는 데 도움이 될 수 있다. 특히 처리량, 지연시간, 에너지 효율이 중요한 시스템에서 의미가 크다. 다만 현재 정보는 arXiv 논문에 기반하므로, 세부 구현과 재현성, 다양한 하드웨어 환경에서의 검증이 후속 판단의 핵심이 될 것이다. Kaleido는 LLM 가속 기법의 단순 이식에서 벗어나, 비디오 구조를 인식하는 공동 설계로 이동하는 흐름을 보여준다.

출처: arXiv