LLMの信頼度推定に追加学習は不要？RL Criticはすでに知っている

導入

大規模言語モデルを信頼できる形で運用するには、回答だけでなく「その回答をどの程度信頼できるか」を推定する必要がある。一般的には、正誤ラベル付きデータを集め、専用の自己評価モデルや外部評価モデルを追加で学習する。しかし、この方法はデータ準備、計算資源、運用上の複雑さを増やす。

arXiv論文「Free Lunch for LLMs Confidence: The RL Critic Already Knows」は、価値ベース強化学習で訓練されたLLMなら、既存のRL Criticがすでに信頼度推定に必要な情報を持っているのではないか、と検討した。

主なポイント

• 信頼度推定と価値予測は同じ問題になり得る。 正解かどうかを成果として扱う場合、信頼度推定は、質問と生成途中の軌跡から最終回答が正しい確率を求める。強化学習のCriticも、同じ軌跡から将来の成果を予測する。論文はこの2つの目的が等価になることを示している。
• 内部表現にアクセスしなくてもよい。 研究では、同程度の能力を持つ自己評価器と外部推定器を比較した。質問、応答、正誤からなる行動ログだけで学習した外部モデルでも、政策モデル自身に近い精度で信頼度を推定できたという。信頼度が必ずしもモデル内部の特別な「自己認識」に依存しないことを示唆する。
• 既存のCriticをそのまま使える。 価値ベースRLで訓練されたLLMでは、新たな信頼度学習の段階や追加データなしに、Criticを実用的な信頼度モジュールとして再利用できる。政策モデル自体は変更されないため、タスク性能を直接損なわない。
• 生成途中でも推定できる。 Criticは最終回答だけでなく、推論途中の軌跡も評価できる。低信頼な段階で警告を出したり、検証や人間の確認、ツール呼び出しを促したりする用途が考えられる。

意義と注意点

評価は数学、コード、ツール呼び出し、一般推論など、複数領域にまたがる。著者の報告では、再利用したCriticはすべての分布内評価で最良の信頼度推定器となり、16件の校正評価のうち14件で最も良い結果を示した。これは、信頼度機能を常に別モデルとして追加するのではなく、既存のRLコンポーネントの新しい用途として実装できる可能性を示す。

一方、結論の範囲には注意が必要だ。研究の前提は価値ベースRLと正誤に基づく成果信号であり、すべてのLLMや学習方式に自動的に適用できるわけではない。分布外タスクでの校正、報酬設計、タスク変化への安定性は今後も検証が必要だ。Criticの能力は、学習した成果信号の質にも左右される。

それでも本研究は、専用の信頼度モデルを追加する前に、既存のCriticがすでに必要な予測を行っていないか確認する、という実用的な設計指針を示している。

出典：arXiv