Specter、量子化モデルでMoEの専門家オフロードを高速化

Mixture-of-experts（MoE）モデルは、入力ごとに一部の専門家だけを活性化します。それでも、モデル全体に含まれる専門家のパラメータ量は大きく、単一GPUのメモリ容量を超えることがあります。そこで一部の専門家をホストメモリに置き、必要になった時点でGPUへ転送する方法が使われます。しかし、どの専門家を使うかは入力依存のルーティングで決まるため、実行時にはルーティング結果を待ってから転送を開始することになります。この構造ではPCIe通信が推論のクリティカルパスに入り、生成速度を制限します。

Specterの特徴は、投機的デコーディングの考え方を、検証計算の削減だけでなく専門家の先読みへ応用した点にあります。システムはデバイス上で軽量な量子化ドラフトモデルを実行し、数ステップ先でどの専門家が活性化されるかを予測します。ランタイムはその予測に基づき、検証処理が到達する前に必要な専門家をホストメモリから移動させ、関連する実行も前もって整理できます。予測が十分に正確であれば、転送と計算を重ね合わせ、待ち時間を隠せます。

主なポイントは次の通りです。

• 量子化が予測器を軽量化：ドラフトモデルを小さくし、限られたデバイスメモリ上でも高速に動かせるようにします。
• 多段先読みでプリフェッチ：現在のルーティング結果だけを待つのではなく、未来数ステップの情報を使って専門家の移動を計画します。
• 活性化パターンの再現性が重要：予測が外れると先読みの効果は低下しますが、提供された要約には誤り率や失敗時のコストは記載されていません。
• 単一GPU環境を重視：専門家がGPUメモリに収まらないモデルを、より一般的なハードウェアで実行しやすくすることが狙いです。

論文要約によれば、単一リクエスト推論で、Specterは既存の最先端システムに対して出力トークンあたり時間（TPOT）を平均1.50倍、最大1.88倍改善しました。この結果は、MoEオフロードが単なる容量の問題ではなく、転送をいつ開始するかというスケジューリングの問題でもあることを示しています。将来の専門家利用を予測できれば、PCIe通信を計算の裏側に隠せる可能性があります。

一方、手元の素材だけでは、専門家予測の正解率、誤予測がTPOTに与える影響、PCIe世代やホストメモリの種類による差、複数リクエスト時の挙動は判断できません。一般的なデスクトップ環境でも同じ効果が得られるかも、追加実験が必要です。それでもSpecterは、「必要になってから転送する」方式を「予測して準備する」方式へ変える、MoE推論の有望なシステム設計を提示しています。

出典：Hugging Face Daily Papers