BizBenchが示す、長期業務エージェント評価の盲点

導入

AIエージェントは、質問に答える段階から、返金、決済、審査、資源配分といった業務フローを実行する段階へ進みつつある。こうした処理では、実行のたびに業務状態が変わり、資金や時間が消費され、後続の判断にも影響する。そのため、最終状態が正しく見えても、途中で権限、残高、期限などの条件に違反していれば、実運用では財務上または規制上のリスクが残る。

BizBenchは、この見落とされがちな部分を測るためのベンチマークである。提供資料の一部ではBizAgentBenchとも表記されている。グローバルな決済会社のワークフローをもとに、状態を持つ実行環境を構築し、エージェントに複数ターンの対話、文書検索、ツール呼び出しを行わせる。環境には789件の知識文書と601個の発見可能な業務ツールが含まれ、50のタスクは資源制約、時間的依存、既存の約束、古いまたは一見矛盾する指針を扱う。

主なポイント

• 規則の適用は出来事に依存する。 製品、地域、発効期間によって、どの文書が事案を統治するかは変わる。期限切れの保険でも、有効期間中に起きた事故には適用される可能性がある。
• 権限は具体的な操作と一致しなければならない。 顧客の一般的な同意だけでは、すべての処理を許可したことにならない。対象となる操作と条件を含み、適切な権限者が、実行前に承認する必要がある。
• 後からの修正は、先の違反を消さない。 残高不足を一度起こしてから補填しても、実行中に発生した違反は有効な処理には戻らない。
• 待つことが実行不能につながる。 審査や倉庫確認を待つ間に配送枠が閉じたり、別の約束に資金や時間を使われたりする可能性がある。

意義

BizBenchは、目標達成、プロセス順守、禁止された副作用を決定論的に検査し、単一の手順だけを正解とはしない。提供資料によれば、Claude Opus 5の厳格成功率は64.0%、GPT-6 Solは61.3%にとどまる。Qwen3.8-27Bは目標達成率が42.0%だった一方、厳格成功率は32.7%まで下がった。これは、結果だけを評価すると不正な実行を見逃し得ることを示す。GPT-6 Solが3回すべてで成功したタスクの割合も40%だった。

業務に投入できるエージェントには、正しい最終状態だけでなく、適用規則の特定、実行時点での権限、全工程における制約維持、禁止された副作用の回避が求められる。BizBenchは、これらを再現可能な検査項目に変換することで、高リスク業務に近い評価の方向性を提示している。

出典：Hugging Face Daily Papers