LLM審査員は強いモデルに甘い？能力依存バイアスを多重評価で補正

導入

LLMは、モデルの訓練、ベンチマーク評価、回答への自動フィードバックなどで審査員として利用され始めています。人手より高速で、大量の出力を同じ形式で処理できることが利点です。しかし、LLM審査員の判定をそのまま中立的な真値とみなすことはできません。審査員自身の能力、評価対象モデルの能力、そして採点基準が相互作用し、一定方向の偏りを生む可能性があるためです。

arXiv論文「Can We Trust LLM Judges」は、従来よく研究されてきたペア比較ではなく、実際の運用に近い絶対評価に焦点を当てています。4つのベンチマークと6つのモデルを用い、36組の審査員・被評価モデルの組み合わせで、評価精度と方向性バイアスを分析しました。

主な発見

• 能力は評価精度を強く予測する。 多くのモデルで、タスク精度と評価精度のピアソン相関は0.90以上でした。一般に、能力の高いモデルほど回答品質を見分ける力も高いことを示します。
• 高性能でも公平とは限らない。 タスク精度と方向性バイアスには強い負の相関があり、相関係数は-0.83以下でした。ただし、能力向上だけで偏りがなくなるわけではありません。
• 強い被評価モデルほど甘く評価される。 すべての審査員で、能力の高い被評価モデルほど寛大な判定を受ける傾向が確認され、相関係数は0.83以上でした。高性能な審査員を1体選ぶだけでは、公平性を保証できません。
• 複数審査員を重み付けする。 提案手法は、各審査員を同じ重みで扱うのではなく、オンライン推定した偽陽性率と偽陰性率に応じて加重多数決を行います。
• 正解ラベルを必要としない。 審査員同士の一致・不一致パターンから誤り率を推定するため、正解ラベルやタスクのメタデータを使わずに校正できます。タスク分布が変化するシミュレーションでは、理想的な誤り率を知る方式との差が平均0.5ポイント以内で、単独審査員と単純多数決を上回りました。

意義と限界

この研究は、LLM審査員の問題を単なる正解率の問題から、能力に依存するバイアスと校正の問題へと広げています。被評価モデルが高性能になるほど、審査員が特定の評価項目ではなくモデル全体の印象に引きずられる可能性があります。

ラベルの収集が難しい環境では、審査員間の不一致を監視して重みを更新する発想は実用的です。一方、結果は4つのベンチマークとシミュレーションに基づくものであり、すべての分野、採点尺度、プロンプト、実運用環境で同じ効果が得られるとは限りません。審査員が共通の誤りを犯す場合や、評価基準が変化する場合も追加検証が必要です。

結論はLLM審査員を使うなということではありません。単一モデルの判定を偏りのない真値とみなさず、複数の審査員を監視しながら校正することが、モデル性能の向上に伴う評価の不安定化を抑える鍵になります。

arXiv