LLM評価ではスコアラーだけでなく比較そのものを検証すべき理由

導入

対話の圧力がLLMの振る舞いを変えるかを調べる実験では、同じ質問に異なる追加入力を与える方法がよく使われます。たとえば、回答を中立的に考え直すよう求めるプロンプトと、架空の映画や人物が実在すると強く主張するプロンプトを比較します。その後、自動スコアラーで、回答に根拠のない事実主張が含まれるかを判定します。

ここで見落とされやすいのが、スコアラーの誤りがプロンプトによって変わる可能性です。研究者が全体の正解率やF1だけを検証すると、肝心の比較にどの程度の偏りがあるのか分からないままになります。

主なポイント

• 誤りはプロンプトに依存し得る。 一方の条件で誤検出が多ければ、プロンプト間の差は実際より大きく見えます。逆に見かけの差が小さくなったり、誤りの偏りが強ければ方向まで反転したりします。
• 全体指標は局所的な問題を隠す。 288件の回答を使った均衡監査では、全体F1は0.916でした。しかし、主要なLLM評価者が「根拠のない主張なし」と判定した回答を、スコアラーが陽性と誤判定した割合は、プロンプトによって2.6%から33.3%まで変動しました。プロンプト別の推定には不確実性も残りました。
• 同一ケースで比較する必要がある。 第2の監査では、同じ300件のモデル・質問ケースについて、各プロンプトへの回答をスコアラーと2人の別のLLM評価者が判定しました。「確実だと断言する」条件と「中立的に考え直す」条件の差は、当初9.3ポイントに見えましたが、両方の評価者では2.3ポイントに縮まりました。
• 方向が一致しても結論は確定しない。 主要評価者の区間はゼロを含んでおり、増加を確立できませんでした。他の2つの比較では評価者が変わっても方向が維持されましたが、プロンプト別の補正については不確実性が大きく、断定できませんでした。

意義と影響

この研究の重要な点は、「評価器が全体として優秀か」から「最終的に報告する比較を正しく測れるか」へ検証の焦点を移したことです。事実性、拒否、安全性、迎合性、対話操作への反応を調べる実験では、評価器が全体ランキングに使えるとしても、特定の条件差に系統的な偏りを持つ可能性があります。

より堅牢な設計では、比較する両方のプロンプトから対応するケースを抽出し、条件別の誤検出・見逃しを監査します。複数の評価者を用いる場合も、評価者自身の不確実性を最終的な効果量に反映させる必要があります。自動評価を捨てるべきだという話ではありません。検証すべき対象を、スコアラー単体ではなく、研究が主張する具体的な差に合わせるべきだという提案です。

出典：arXiv