小型モデルとLLMが制御を分担するJevAgentHarness

導入

現在のLLMエージェントは、環境の確認、次の行動の判断、ツールの選択、結果の解釈を繰り返すたびに、大規模言語モデルを呼び出すことが多い。この構成は柔軟だが、長いタスクでは呼び出し回数が増え、推論コストと待ち時間が積み上がる。JevAgentHarnessは、次に使うツールのような比較的構造化された判断を小型の決定モデルに任せ、不確かな場面だけLLMへ戻す仕組みを検討している。

主なポイント

• 評価対象を単問から実行全体へ広げた。 研究チームはAgentDecisionBenchを作り、単独の判断問題、公開ベンチマーク、DecisionGym上で動くエージェントを段階的に評価した。
• 局所的な精度だけでは不十分だった。 単独問題で最も正確な決定モデルでも、エージェントタスクの成功率は69.5%にとどまった。ひとつの誤ったツール選択が後続の状態を変え、長期的な失敗につながるためだ。
• 信頼度の閾値を利用する。 閾値を調整せずに委譲すると、成功率は19.0ポイント低下した。JevAgentHarnessはエージェント自身の軌跡から選択ごとの閾値を学習し、信頼度が低い判断をLLMへ戻す。
• 誤りの後に現れる状態を学習する。 従来の決定モデルは、自分の誤りによって生じた状態を十分に見ていない可能性がある。AgentDecision-4Bはそのような状態を含むデータで訓練され、Jevの判断をラベルとして利用する。

結果と意味

訓練データと異なるタスクでは、AgentDecision-4Bを使ったエージェントの成功率は91.5%、Jevを使った場合は82.0%だった。訓練データに近いタスクでは、この方法で訓練した4Bモデルにより、コストを81.1～89.0%削減し、処理速度を最大2.5倍にできた一方、タスク成功率の低下は3ポイント以上にならなかった。提供された素材には実験条件の全容がないため、これらの数値をあらゆる環境にそのまま一般化することはできない。

この研究の意義は、単純に大きなモデルを小さなモデルへ置き換える点にはない。重要なのは、どの判断を委譲し、どの時点でLLMへ切り替えるかを制御し、過去の誤りが作った状態にも対応することだ。エージェントの評価も、単問精度だけでなく、最終成功率、信頼度の校正、コスト、遅延を組み合わせて行う必要がある。新しいツールや環境、失敗パターンでも安定するかは、今後の検証課題となる。

出典：Hugging Face Daily Papers