MiniMax H3のリアルタイム配信に必要なのはDiTの高速化だけではない

はじめに

マルチモーダル動画モデルの配信性能は、単一のニューラルネットワークを速くするだけでは決まらない。MiniMax H3は映像と同期音声を生成するため、リクエストは大規模な視覚言語エンコーダー、長い音声・映像DiT、映像と音声それぞれのVAE、GPUからホストへの転送、プロセス間通信、H.264/AACによるMP4化を通過する。vLLM-Omniは、DiTだけでなく常駐パイプライン全体を最初の最適化対象にした。

主なポイント

• 注意機構と通信を同時に見直した。 パックされた音声・映像系列に対し、有効な系列長を渡して末尾の構造的なパディングを削減。各ランクは必要な埋め込みとRoPEの行だけを構築し、Fast UlyssesはNCCL SymmetricMemoryを使ってAll-to-All周辺の再配置を抑える。
• 繰り返される小さな処理を融合した。 Q/K RMSNormとRoPE、変調・正規化・残差処理、SwiGLUなどを融合し、49回の拡散計算で発生するカーネル起動のオーバーヘッドを減らした。
• デコードから出力までを最適化した。 映像VAEは8 GPUに分割し、音声と映像を独立にデコードする。フレームはGPU上でコンパクトなuint8形式へ変換し、ページ固定メモリとIPCで転送。H.264には平面形式で渡し、大きなインターリーブRGBバッファーの再生成を避ける。
• FastH3は拡散計算そのものを短縮した。 FastVideoの手法はDiTの前向き計算を49回から4回へ減らす。8基のNVIDIA B300、1344×768、24 FPSの別実験では、10.125秒の完全なMP4を8.678〜8.710秒で生成した。

ベンチマークの読み方

基準レーンは50個のsigma点と49回のDiT計算を使用する。対応するプロンプトとシードの条件では、vLLM-OmniのクライアントE2E時間は56.917秒。内訳はDiTが51.800秒、映像・音声VAEが合計0.952秒、MP4化が1.528秒で、Diffusersの参照値は82.239秒だった。30.8%の短縮という主張はこの基準システム比較に属し、FastH3との直接比較ではない。

FastH3の測定は、異なるソース改訂版、プロンプト、シード、成果物を使う独立したレーンである。そのため、素材は絶対時間だけを示し、基準値との速度倍率を導いていない。また、ここでいうリアルタイムとは、完全なMP4が再生時間より早く準備できることを指す。初フレームまでの時間やストリーミング配信を意味しない。

意義

この事例は、拡散ステップを減らすとVAE、データ移動、メディアエンコードが次のボトルネックとして現れることを示す。実運用ではDiTの実行時間だけでなく、完全なメディアが利用可能になるまでを測る必要がある。アルゴリズムの短縮と、通信・メモリ・出力処理のシステム設計を組み合わせて初めて、利用者が体感する低遅延につながる。

出典：vLLM Blog