PISA-E、プロンプトとコストに応じたLLMアンサンブルを実現

背景

大規模言語モデルをWebサービスで運用する際、常に最も高性能なモデルを使えばよいとは限りません。質問の難易度や必要な品質は入力ごとに異なり、強力なモデルを一律に呼び出すと推論コストが増えます。一方、毎回ひとつのモデルだけを選ぶ方式では、複数モデルの協調による品質向上を活用できない場合があります。

従来のルーティングが主に答えてきたのは「このプロンプトをどのモデルに送るか」という問いです。アンサンブルではさらに「どのモデルを組み合わせるか」「何個呼び出す価値があるか」を決めなければなりません。今回の研究は、単一モデル向けのPISAと、アンサンブルに拡張したPISA-Eを提案しています。

手法のポイント

• 入力ごとの能力推定：PISAはソフトクラスタリングの所属情報とモデル固有の予測器を組み合わせ、現在のプロンプトに対する各モデルの有用性を推定します。固定されたモデル順位ではなく、入力に応じた選択を目指します。
• 品質とコストを同時に考慮：PISA-Eは、アンサンブルに含めるモデルとモデル数を同時に選びます。品質を優先するかコストを抑えるかという方針は、再学習なしで推論時に変更できます。
• 組み合わせ専用の学習を省略：個別モデルの予測からアンサンブル成功度を近似する指標を作り、候補を効率的に絞り込みます。すべてのモデル組み合わせに専用の予測器を用意する必要はありません。
• 分布変化も評価：4つのLLMルーティングベンチマークで、分布内（ID）と分布外（OOD）の両方を検証しています。

結果と意味

単一モデルの比較では、PISAがIDとOODの双方で、評価対象ルーター中の最高のマクロ平均コスト・性能ハイパーボリュームを達成しました。これは、ひとつの最高品質点だけでなく、複数のコスト水準にわたるバランスを評価した結果です。

アンサンブルでは、品質を重視した場合にPISA-Eが評価対象手法の中で最高のマクロ平均タスク性能を示しました。最も強い競合手法に対する向上幅は、IDで2.09ポイント、OODで2.87ポイントです。また、一部の低コスト運用点では、平均推論コストをIDで約36%、OODで約25%削減しながら、競合アンサンブルを上回りました。

重要なのは、呼び出すモデル数を固定するのではなく、リクエストに応じて協調の規模を変える点です。比較的簡単な入力には小規模な構成を使い、難しい入力には追加のモデル呼び出しを許すことで、サービス事業者は品質と支出を細かく調整できます。ただし、提供された資料にはベンチマークの詳細、使用モデル、遅延の内訳がないため、結果をあらゆる本番環境にそのまま適用できる保証とみなすべきではありません。

出典：Hugging Face Daily Papers