長いコンテキストを扱う推論では、トークン数だけでなく、注意計算がどれだけ不要な処理を避けられるかも効率を左右する。Mixture of Block Attention(MoBA)はクエリごとに関連するKVブロックを選び、計算量を減らす手法だ。FlashMoBAはそのGPU実行を効率化してきたが、固定Top-kではスコア分布の異なるクエリにも同じ選択数を課す。また、クエリ範囲を単位にタスクを割り当てると、複数タスクが同じKVブロックを読み込むことがある。
LightningMoBAは、ルーティングだけでなく実行方法も合わせて設計し、この二つの問題に取り組む。
三つの工夫
- **スコア閾値による動的ルーティング:**各クエリが固定数のブロックを選ぶのではなく、ブロックスコアが閾値を超えるかで保持対象を決める。そのため、クエリごとに保持数が変わる。スコア計算時に疎なメタデータを生成し、順序付きTop-k候補の管理や追加のインデクサ学習を必要としない。
- **KVブロック中心のタスク編成:**同じKVブロックを参照するクエリ行を、注意ヘッド内でまとめる。タスク内で読み込んだK/Vタイルを再利用できる。参照が集中するブロックについては作業を複数の上限付きタスクに分け、個々の負荷を抑える。
- **パイプライン実行:**Hopper GPUでは、規則的なK/V転送と不規則なクエリの収集をTensor Core計算と重ね、待ち時間の削減を狙う。
つまり、ルーティングが各クエリの保持量を決め、実行側はデータ再利用とタスク負荷を考慮して処理する。保持数とGPUの分割単位を切り離す設計だ。
評価結果とその意味
5つのチェックポイントを用い、4Kから128Kまでのコンテキスト長でRULER全体を評価した実験では、平均保持予算をTop-16に合わせた。FlashMoBAと比べ、LightningMoBAはエンドツーエンド生成を1.20~1.60倍高速化し、RULER平均スコアは74.42から75.28に上昇した。また、同一の最適化バックエンド上でルーティング方式を比較したところ、2モデル・6構成のTop-64設定で、動的ルーティングは1.16~1.56倍の速度向上と、0.85~5.95ポイントのRULER改善を示した。
学習評価はQwen3-4B、コンテキスト長128K、100ステップで行われた。両方式は最適化した順方向処理と調整済みの逆方向処理を共有する。動的ルーティングはTop-32とTop-64でそれぞれ1.23倍、1.60倍のエンドツーエンド学習高速化を報告し、交差エントロピーは両方式で近い水準だった。
この研究が示すのは、疎な注意計算の高速化が演算の削減だけでは決まらないという点だ。インデックス生成、メモリ再利用、GPUスケジューリングの協調も重要になる。一方、報告された結果は評価対象の構成に基づくもので、あらゆる本番推論負荷で同じ性能が得られることを示すものではない。実運用ではバッチ処理やテールレイテンシーなども別途検証する必要がある。
コメント
ログイン状態を確認中…
コメントを読み込み中…