一度の成功は信頼性ではない：Thinkingboxで業務エージェントを評価する

導入

エージェントが自然な回答を返し、形式的に正しいツールを呼び出したとしても、実際の業務を完了したとは限りません。業務フローでは、複数ターンにわたって不足情報を集め、分野ごとのポリシーに従い、依存関係のあるツールを順序立てて使い、最後にバックエンドを正しい永続状態へ移行させる必要があります。処理の抜けや余計な変更が一つあるだけでも、見た目には成功した実行が失敗になる可能性があります。

Thinkingboxは、この問題を評価の中心に置くサンドボックスです。焦点は最終回答のもっともらしさや個々のツール呼び出しの妥当性ではなく、ユーザー、エージェント、ツールの相互作用全体が正しい業務結果につながったかどうかにあります。

主なポイント

• 隔離された実行環境。 MCP互換のツールセッションを分離して提供し、試行同士の状態干渉を抑えます。
• 完全な実行トレース。 最終回答だけでなく、情報収集、判断、ツール利用を含む一連のやり取りを確認できます。
• 状態に基づく検証。 タスクごとの実行可能な検査が、バックエンドの最終状態を確認します。正しい軌跡は受け入れ、誤った変更、必要な変更の欠落、余計な変更は拒否します。一部のタスクでは最終回答の必要条件も確認します。
• 複数の業務領域。 Thinkingbox-benchは、販売、ホテル、自動車保険、ネオバンクの社内IT、コンサルティング企業のIT/HR支援など、ポリシー制約付きの507ワークフローを収録しています。
• 再現性の不足。 プロプライエタリモデルとオープンウェイトモデルの比較では、最高値はpass@1が65.36%でしたが、pass^20は25.25%でした。一度成功することと、繰り返し成功することは別です。

意義と影響

従来の評価では、正しい形式のツール呼び出し、役に立つ中間アクション、正常な終了などが成功の手掛かりとして扱われがちです。しかしThinkingboxの結果は、それらが最終成果の十分な代理指標ではないことを示します。失敗した試行の中にも、正常に終了し、実際に有効な状態変更を行ったものがあります。それでも、必要な変更をすべて実施していなかったり、許可されない追加の影響を残していたりすれば、タスク全体としては不合格です。

企業で使う自動化エージェントに必要なのは、偶然の成功ではありません。ポリシーを守り、依存関係を処理し、副作用を避け、意図した状態を安定して実現することが求められます。Thinkingboxは、これらを一つの評価ループにまとめ、実運用に近い観点からエージェントを比較する枠組みを示します。

もちろん、ベンチマークはあらかじめ設計されたサンドボックスであり、すべての現実の業務を再現するものではありません。それでも、評価の問いを明確にした点は重要です。見るべきなのは「もっともらしく答えたか」「ツールを呼べたか」だけではなく、制約を守りながら、システムを必要な状態へ正確に変えられたかどうかなのです。

出典：Hugging Face Daily Papers