BenchMIRTはLLMベンチマークの測定内容を問い直す

導入

大規模言語モデルの評価では、ベンチマークの総合スコアがモデルの能力を表す代表値として使われます。しかし、1問に正解するために必要なのは、評価名が示す能力だけとは限りません。文脈理解、人物関係の追跡、一般推論、知識の利用、危険な依頼への拒否判断などが同時に求められる場合があります。すべてを平均すると、スコアを動かした要因が見えにくくなります。

Ai2が発表したBenchMIRTは、設問単位でLLMベンチマークを監査し、「そのスコアは実際に何を測っているのか」を調べる手法です。

多次元IRTで能力を分解

BenchMIRTは、心理測定で使われてきた項目反応理論（IRT）を基盤にしています。IRTは、受験者の能力だけでなく、各設問の難易度や、能力の高低を見分ける力も推定します。BenchMIRTはこれを多次元項目反応理論（MIRT）へ拡張し、1つの設問が複数の潜在能力に関係する状況を扱います。

分析には、100個のLLMによる16ベンチマーク、3万4,000問超の回答結果が使われました。研究者は、どの評価が安全性や推論を測るかを事前に教えていません。それでも分析を繰り返すと、安全性と一般推論という2つの主要な次元が安定して現れました。これは回答パターンから推定された統計的な構造であり、モデル能力の完全な定義ではありません。

ベンチマーク内の混在を可視化

• BBQ: 社会的ステレオタイプを扱う一方、人物の関係を追跡し、提示された証拠に基づいて推論する必要があります。低スコアは、安全性だけでなく推論の難しさも反映し得ます。
• WMDP: 生物、化学、サイバーセキュリティなどの危険なデュアルユース知識を扱います。望ましい回答は情報提供ではなく拒否であるため、一般推論が強いモデルほどスコアが低くなる関係も確認されました。
• HarmBench: 通常の有害依頼と文脈付き依頼は安全性に近い一方、著作権に関する設問は一般推論に近い結果でした。同じ総合点でも、内部の設問群は異なる信号を持ち得ます。

少ない設問で効率化

BenchMIRTは、モデル間の差を見分ける情報量の高い設問をランキングできます。実験では、設問の10%だけを残しても、安全性や推論に関するモデルの相対的な強弱を概ね維持できました。50%を残すと、完全版との一致はさらに高くなる傾向がありました。

また、未観測の設問に対する正誤を予測する実験では79%の正確度となり、ベンチマーク全体の成績だけを使う単純な方法の70%を上回りました。

意義と限界

BenchMIRTは既存ベンチマークが無価値だと示すものではありません。総合スコアが複数の能力を圧縮した信号であることを明らかにし、能力別の報告、設問群の点検、高情報量設問の選択を促す手法です。

一方、結論は分析対象となったモデル、設問、回答パターンに依存します。統計的な関連だけで設問の妥当性や安全目標を判断することはできません。ランキングの数字だけでなく、どの設問がどの能力を反映するのかを確認することが、より慎重なLLM評価につながります。

出典：Hugging Face Blog