DecisionPivot、平均正解率では見えないLLMの判断能力を診断

概要

LLMシステムでは、モデルは文章を生成するだけでなく、リクエストの振り分け、セーフティーガードレールの適用、出力の検証といった判断も担います。こうした用途では、個々の問題にどれだけ正解したかだけでは十分ではありません。入力の重要な細部が変わったとき、判断も一貫して変えられるのか。また、高い確信度を付けた予測は本当に信頼できるのか。これらは平均正解率だけでは捉えにくい問いです。

Hugging Face Daily Papersで紹介されたDecisionPivotは、この問題を診断するためのベンチマークです。単一のランキングスコアを競うのではなく、管理された変化に対するモデルの反応と、確信度の質を細かく調べます。

ベンチマークの構成

DecisionPivotは、7種類の意思決定役割にまたがる48タスク、40,033項目で構成されています。評価は二つのトラックに分かれます。

• コアトラック：13の生成タスクファミリーからなる7,800項目を収録します。項目は対比グループに整理され、グループ内では正解を左右する要素が管理された形で変化します。計算による正解は、独立実装されたソルバーで検証されています。
• リファレンストラック：35の公開テストセットから32,233項目を集め、各データセット本来の評価指標を維持しています。

研究では40の意思決定モデルと14の汎用モデルを、モデルごとに記録された手順で評価しました。測定対象は項目正解率に加え、対比グループ正解率、確率の順位付け、キャリブレーション、経験的な選択的カバレッジです。つまり、正解できるかだけでなく、どの変化に反応できるか、そして自分の予測をどの程度信頼できるかを見ています。

総合スコアが隠す差

報告された結果は、平均値だけでは能力差を見誤る可能性を示します。27B規模の二つのモデルは、リファレンストラックでは2.6ポイントしか離れていませんでした。しかし、対比グループ正解率は70.1%と44.2%に分かれました。独立した問題への回答が近いモデルでも、判断を左右する細部への感度は大きく異なり得ます。

確率順位と最終判断も一致するとは限りません。2,400組の二値対比ペアで、Perplexity Deciderは正例を負例より高い確率に置く割合が92.3%でした。一方、両方の項目を正しく回答できた割合は74.1%にとどまります。相対的な傾向を把握していても、各ケースを正しく判定できるとは限らないということです。

確信度にも独立した差があります。項目正解率が近いモデルでも、高信頼度の予測がどれだけ正しいかは異なります。さらに、1,296項目の別サブセットでは、GLM-5.3の対比グループ正解率が高い推論設定で93.5%、最低設定で81.5%でした。

意義

DecisionPivotが示すのは、実運用に近い評価の必要性です。ルーターやガードレール、検証器にとって重要なのは、平均して何問正解するかだけではありません。どの重要要素で失敗するのか、対になるケースで一貫性を保てるのか、高信頼度の出力を自動採用してよいのかも重要です。

そのため、今後の評価では総合正解率に加え、対比テスト、確率挙動、信頼度の校正、選択的カバレッジを組み合わせる必要があります。ただし、今回の素材は概要と主要結果を中心としており、全タスク一覧や完全なモデル順位、再現実験の詳細までは含んでいません。したがって、DecisionPivotは個別モデルへの最終判定というより、見落とされがちな失敗を発見するための評価枠組みとして捉えるのが適切です。

出典：Hugging Face Daily Papers