銀行AIは最終回答だけで測れない：IndicBankBenchの狙い

2026年9月28日読了目安 3 分

導入

銀行の顧客対応では、自然で説得力のある文章を返せたからといって、依頼を正しく処理したとは限らない。アシスタントが別の口座を選んだり、古い情報を使ったり、すでに保有している情報を再度尋ねたりする可能性がある。さらに、正しい数値を説明した後で、ツールを通じて誤った値を書き込むことも考えられる。

IndicBankBenchは、こうした失敗を最終回答だけでなく、処理全体から調べるための評価基盤だ。対象はインドのリテール銀行業務であり、実際の操作に近い模擬環境を用いる。

ベンチマークは799件の合成ケースで構成される。5つの業務領域に加え、能力と拒否を扱う領域を含み、20の主要評価軸を設定している。ケースによっては、アカウント情報の取得、ツール呼び出し、書き込み操作まで求められる。

評価は次の順に行われる。

ツール利用と大半の安全性チェックには決定論的な判定を使う。確認前の書き込みが曖昧な一部ケースだけに専用の解決器を用い、回答の意味的な十分性は別のLLM審査員が評価する。

各ケースは3回実行され、3回すべて成功した場合をstrict pass^3として数える。11モデルの厳格な信頼性は43.7～58.2%だった。一方、少なくとも1回成功したケースの割合は60～74%に達する。

この差は重要だ。1回でも成功すればよい指標では、銀行業務で再現性の低いシステムも高く評価される可能性がある。繰り返し実行することで、たまたま正しく処理できた能力と、安定して処理できる能力を区別できる。

ケース単位の診断も有用だ。あるシステムは、必要な情報がそろっているのに不要な質問をする。別のシステムは操作自体は行うものの、顧客の文脈を統合できなかったり、依頼全体を解決しきれなかったりする。単一のスコアでは見えにくい問題を分解できるため、プロンプト、ツール設計、業務フローの改善につながる。

IndicBankBenchは、銀行向けAIを「会話がうまいか」ではなく、依頼の理解、文脈確認、最新情報の取得、操作、確認、実行、説明という一連の流れで評価する必要を示している。高リスク領域では、もっともらしい返答を一度出せることより、同じ条件で安全に処理を再現できることが重要だ。

ケース、模擬環境、評価ハーネスが公開されることで、個別の失敗原因を再検証する土台も整う。