正答率だけでは足りない：LLM評価で校正を重視すべき理由

導入

大規模言語モデルの評価では、正解率や勝率、ベンチマークの総合スコアが中心になりやすい。しかし、平均的にどれだけ答えられるかだけでは、モデルが自分の誤りを認識しているかは分からない。立場論文「Calibration as a First-Class Criterion in LLM Evaluation」は、モデルの校正（calibration）を一部の不確実性研究だけのテーマにせず、通常のLLM評価に組み込むべきだと主張している。

校正とは、モデルが表明する、あるいは内部的に示す確信度と、実際の正答率との整合性を意味する。校正されたモデルは、高い確信を持つ回答ほど正しい傾向を示し、根拠が弱い場合には適切に自信を下げる。逆に、誤答を強い口調で提示する過信型のモデルは、利用者が危険を見抜くことを難しくする。

主なポイント

• 測定手法より採用不足が問題である。 NLPには校正を測る既存手法がある。多くのベンチマークには、計算に必要な確信度と正誤判定の双方がすでに含まれているため、少なくとも明確な正解を持つタスクでは、追加の大規模な設計変更なしに結果を報告できる。
• 実運用の安全性に直結する。 自信満々の誤答は、曖昧さを示す誤答よりも利用者に受け入れられやすい。平均スコアだけでは、高い確信を示した場合の信頼性や、人間による確認が必要な場面を十分に判断できない。
• 研究開発の流れにも影響する。 LLM-as-a-judge、合成データ生成、アクティブラーニングは、モデルの判断や確信度を何らかの形で利用する。校正を確認しないまま使えば、質の低いデータを選んだり、不安定な評価を信頼したりする可能性がある。
• 自由生成には未解決の問題がある。 選択式問題のように正解が明確な場合と異なり、長文回答や創作、複雑な推論では、何を正しいとみなすかが一意ではない。確信度をどの単位で取り出し、どう比較するかも統一されていない。

意義と影響

この論文は新しい校正アルゴリズムを提案するものではない。主張の中心は、各NLP分野が主要な性能指標とともに校正スコアを報告するという評価慣行の変更である。そうすれば、モデルが平均してどれほど高性能かだけでなく、その自信が下流システムにとって有用な情報なのかも確認できる。

能力と信頼性は同じではない。似た性能のモデルでも、不確実なときに適切な警告を出せるかどうかは異なる可能性がある。人間への引き継ぎ、優先順位付け、リスクに応じた処理が必要な場面では、校正されたモデルの方が扱いやすい。また、確率値や自然言語による自信表明を、下流処理がそのまま信頼してよいかを検討する材料にもなる。

校正だけで正確性、事実性、偏り、自由回答の品質を解決できるわけではない。それでも、評価を「どれだけ正解したか」から「自分の回答の信頼度をどれだけ正しく表現できるか」へ広げる、重要な補助軸になり得る。

出典：Hugging Face Daily Papers