ProbabilityBench：正解付きの不確実性でモデルを評価する

はじめに

モデルがあるインスタンスについて「陽性である確率は70%」と出力したとしても、最終的なラベルを一度観測するだけでは、その70%が妥当だったかは分かりません。現実の分類データは通常、各インスタンスに対して1つの結果しか提供しないためです。モデルがラベルを当てていても、確信度を過大評価または過小評価している可能性があります。集計ベースの校正指標だけでは、このインスタンス単位の問題を十分に捉えられません。

ProbabilityBench は、この問題を「真の確率が分かる評価環境」を作ることで解決しようとします。新しい予測モデルを提案するのではなく、確率予測そのものを厳密に測るための基盤を設計した点が特徴です。

完全な生成過程から真値を導く

ベンチマークには、査読、 covert information transfer、信用リスクを扱う3つのシミュレーション型テキスト環境が含まれます。各環境では、データとラベルがどのように生成されるかを完全に定義しています。そのため、各インスタンスの真のクラス確率を解析的に計算でき、不可約な不確実性に由来するベイズ誤差も求められます。

これらのケースは自然言語のメモとしてモデルに提示されます。モデルは基礎となる生成過程を見ず、文章だけから確率を推定します。さらに論文は、ケースを自然言語メモへ変換しても生成確率が厳密に保たれることを理論的に保証しています。言語タスクとしての形式と、数学的に管理された真値を両立させた設計です。

確率の質を直接比較する

ProbabilityBench では、モデルが報告した確率分布と真の分布を KL ダイバージェンスで比較します。最頻クラスを当てたかどうかだけでなく、どれだけ適切な確信度を出したかまで評価できる点が重要です。

16モデルを評価した結果、コストと品質の Pareto フロンティアでは、意思決定モデルが強いトレードオフを示すケースが多く、Jev や Perplexity Decider もその例として挙げられています。これは、出力ラベルだけでなく、限られたコストの下で確率に基づき行動を選ぶシステムに関係します。

評価手法そのものも検証

このベンチマークはモデルランキングだけを目的としていません。厳密な確率とベイズ誤差が既知であるため、一般的な校正指標やベイズ誤差推定器が、正解の分かる環境で妥当な結論を出せるかを検証できます。モデル比較の信頼性は、使用する測定方法の信頼性にも依存するからです。

もちろん、真値はシミュレーション環境に基づくため、現実の分布をそのまま代表するわけではありません。ProbabilityBench は実データ検証の代替というより、モデルが不確実性を表現する能力と、評価指標自体の挙動を診断するための基準です。自然言語モデルの確率評価に、再現可能で解釈しやすい出発点を提供する研究と言えるでしょう。

出典：Hugging Face Daily Papers