Kaleido：動画拡散 Transformer を加速するアルゴリズム・ハードウェア協調設計

導入

動画拡散 Transformer（vDiT）は高品質な動画生成を支える有力なアーキテクチャだが、その推論コストは非常に大きい。長い拡散ステップに加え、動画トークンに対する自己注意計算が重くのしかかる。近年は拡散ステップ数を減らす方向の研究も進むが、その結果として自己注意の計算がより支配的なボトルネックになっている。

arXiv 論文「Kaleido」は、この問題に対し、動画データの潜在空間に存在する時空間相関を活用するという立場を取る。大規模言語モデル向けの疎な注意機構をそのまま持ち込むのではなく、動画ならではの構造を前提にアルゴリズムとハードウェアを同時に設計する点が特徴だ。

主要ポイント

• LLM 由来の手法への問題提起：既存の高速化手法の多くは、言語モデルで使われる疎な注意の発想を継承している。しかし論文は、動画潜在表現に固有の時空間相関を十分に扱えていないと指摘する。
• チャネル単位の再利用：Kaleido は潜在空間のチャネル方向に見られる時空間的な類似性を利用し、部分的な計算結果を再利用する。これにより、冗長な演算をスキップしながら生成品質を維持することを目指す。
• vDiT 全体を対象にした高速化：概要では、Kaleido が自己注意だけでなく vDiT 内のすべての操作を加速対象にしていると説明されている。
• 不規則性に対応する専用ハードウェア：再利用アルゴリズムは不規則な疎性やデータアクセスを生む。そのため著者らは、再構成可能な処理要素を持つ類似シストリックアレイ型アクセラレータと軽量データディスパッチャを設計している。
• 報告された性能：三つの主流 vDiT モデルで評価した結果、既存の先進アクセラレータに対して最大 5.9 倍の高速化、16.0 倍のエネルギー削減を達成したとされる。また、従来手法より 17 dB 超の生成品質上の優位性も示したと述べている。

意義と影響

Kaleido の意義は、動画生成の高速化を単なる演算削減ではなく、データ特性とハードウェア実装の両面から捉えている点にある。動画の潜在空間には、時間、空間、チャネルにまたがる冗長性があり、それを適切に使えば専用アクセラレータの設計余地が広がる。

今後、より大規模なモデルや実運用に近い環境で同様の効果が確認されれば、動画生成サービスのコストや消費電力を下げる手がかりになるだろう。一方で、本稿は arXiv 論文に基づくものであり、詳細な実装、再現性、他のハードウェア環境での検証が今後の評価ポイントになる。Kaleido は、LLM の高速化技術を流用する段階から、動画構造を意識した協調設計へ進む流れを示している。

出典：arXiv