モデルルーティングは単なる「モデル選択」ではない：IBM Research が示す企業向け Agent の現実

導入

モデルルーティングは、企業 AI にとって分かりやすい改善策に見える。単純な依頼は安価なモデルへ、難しい依頼は高性能モデルへ、コードやマルチモーダル処理は得意なモデルへ振り分ければよい、という考え方だ。しかし IBM Research は Hugging Face Blog の記事で、Agent にルーターを組み込むと、この問題はすぐに「どのモデルを選ぶか」ではなく「システム全体をどう最適化するか」に変わると述べている。

重要なポイント

1. コストは料金表だけでは決まらない
   記事では、AppWorld Test Challenge の 417 タスクを同じ CodeAct Agent で実行した結果が紹介されている。Claude Sonnet 4.6 は合計 79 ドル、1 タスクあたり約 0.19 ドルだった一方、GPT-4.1 は合計 155 ドル、約 0.37 ドルだった。トークン単価だけを見ると GPT-4.1 の方が安く見えるため、これは直感に反する。差を生んだのはキャッシュだった。Agent は複数ステップで大きな文脈を再利用するため、キャッシュ読み取り価格とヒット率が実効コストを大きく変える。

2. 複雑さは事前に見える難易度ではない
   難易度に基づくルーティングは自然だが、実行前に本当の難しさを見抜くのは難しい。「契約書を要約して」という依頼が、検索、コンプライアンス確認、ツール利用、複数回の修正を必要とする場合がある。一方で、専門的に見えるプロンプトが小型の専用モデルで十分処理できることもある。企業環境ではさらに、データ所在地、プライバシー、承認済みモデルのリストなども制約になる。

3. 遅延はモデル速度だけではない
   ユーザーが感じる応答時間は、モデルの大きさだけで決まらない。ルーティング自体の処理、ハードウェア、エンドポイントの混雑、キャッシュが温まっているかどうかといった要素が影響する。タスクごとに一度だけルーティングすれば負荷は小さいが、Agent の各ステップでルーティングすれば柔軟性は増す一方、遅延と運用の複雑さも増える。

4. ルーティングは多目的最適化である
   IBM Research は、「このタスクに最適なモデルは何か」ではなく、コスト、品質、遅延を同時に最適化する方向へ設計を変えたという。AppWorld の結果では、複数のルーター設定がコストと精度のフロンティアを形成した。遅延を重視した設定では、精度 84%、コスト 93 ドル、遅延 83 秒となり、Opus 単独利用と比べてコストを 21%、遅延を 9% 削減し、精度低下は 4% にとどまった。

意義と影響

この記事の示唆は明確だ。モデルルーティングは、最強のモデルを選ぶ作業ではない。モデルは、キャッシュ挙動、インフラ状態、ワークロード、信頼性、コンプライアンスと並ぶ一つの変数にすぎない。企業向け Agent では、単一リクエストの理想解よりも、システム全体として許容できる品質、コスト、遅延、ガバナンスの均衡点を見つけることが重要になる。

出典：Hugging Face Blog