ハイブリッド意思決定モデルは、推論にお金を払う価値を判断する

導入

大規模言語モデルの推論コストは、モデルのパラメータ数だけで決まらない。毎回、長い思考過程を生成するかどうかも、遅延やトークン消費を大きく左右する。簡単な質問まで完全な推論に回せば無駄が生じる一方、難しい問題で推論を省けば正答率が下がる可能性がある。Hugging Face Daily Papersで紹介されたHybrid Decision Model（HDM）は、この問題を「追加の思考は本当に価値があるか」という意思決定として扱う。

推論の長さではなく、価値を選ぶ

従来の適応型推論は、明示的な思考を短くしたり、複数のモードを切り替えたりする。しかし最終的な答えは、いずれにしてもトークン単位で生成される。HDMは「ゼロまたはT」という別の枠組みを採用する。高速モードでは、1回のフォワードパスで形成された暗黙的な情報から直接回答し、追加の推論トークンを生成しない。低速モードでは、約Tトークンを使う完全な自己回帰推論を実行する。

HDMの中心は、共有された凍結バックボーンと軽量な自己ルーティングブロックである。ルーターは、推論を何トークン生成するかではなく、高速モードと低速モードの結果にどれほど差が出るかを推定する。高速処理ですでに得られた情報を手がかりに、追加推論の期待効用を計算し、その値がリクエストごとに設定された価格λを上回った場合だけ低速モードを起動する。λは品質、遅延、トークン予算のバランスを表すため、同じモデルでも用途に応じて運用条件を調整できる。

エージェント向けの学習方法

通常の質問応答ベンチマークでは、高速モードと低速モードを比較して、判断の学習信号を作りやすい。しかしウェブ操作のようなエージェント課題では、個々の判断に正解ラベルがあるとは限らず、エピソード全体の成功や失敗だけが分かることが多い。論文はこの問題に対して、Calibrated Decision Policy Optimisation（CDPO）を導入する。これはエピソード終了後のリターンを使い、ルーターを強化学習的に訓練する方法である。

評価対象はMMLU-Pro、AGIEval、GPQA-Diamond、JevBench、BANKING77、MiniWoB。JevBenchではHDM-4Bが0.857を記録し、Jevの0.851を上回った。中央値の遅延は0.179秒で、Jevの0.652秒から72.5%低下している。インタラクティブなMiniWoBでは、HDM-27Bがトークンコストを80.1%削減した。

意義と課題

HDMの重要な点は、思考を短くするだけでなく、不要な思考そのものを発生させないことにある。オンライン推論やツールを使うエージェントでは、リクエストごとに計算予算を配分することで、コストと難易度をより直接的に結び付けられる可能性がある。

一方、価格λを変更したときのルーターの安定性や、タスク分布が変わった場合の校正は、実運用上の課題として残る。また、暗黙的な思考は明示的な推論過程より検査しにくい。HDMは、思考を常に長くするのではなく、追加計算の価値を予測して必要な場面にだけ支払うという、推論最適化の新しい方向を示している。

出典：Hugging Face Daily Papers