正答率だけでは見えない：SFT・RL・OPDが推論中の信頼度をどう変えるのか

導入

大規模言語モデルの推論能力は、教師あり微調整（SFT）、強化学習（RL）、on-policy distillation（OPD）といった後学習によって向上してきた。だが多くの評価では、最終的な答えが正しいかどうかに注目が集まりがちである。今回の arXiv 論文は、その見方を一歩進め、モデルが推論している最中の「信頼度」がいつ有用なのかを調べている。

著者らの主張は明確だ。思考連鎖における信頼度は、一本の連続したスコアとして扱うべきではない。生成前、生成中、生成後では、同じ信頼度でも意味が変わる可能性がある。

主なポイント

• 三段階の校正フレームワーク：論文は信頼度を、思考連鎖生成前、生成中、生成後の三段階で評価する。これはそれぞれ、問題の難しさの推定、早期停止、複数推論結果の集約に対応する。
• 手法ごとに得意な段階が異なる：数学推論ベンチマークでの比較では、OPD は推論前の信頼度が最も有用で、問題難度の見積もりに向いている。SFT は推論中のオンライン信号が強く、早期停止に適している。RL は推論トレース全体の信号が安定しており、答えの集約に向いている。
• 信頼度は位置に依存する：RL の信頼度は、推論の初期から有用なのではなく、モデルがある推論経路にコミットした後に情報量を持つ。OPD は初期には有効だが、後半では逆校正のような挙動を示す場合がある。
• PosConf の提案：この観察に基づき、著者らは位置認識型の信頼度利用法 PosConf を提案する。信頼度を常に使うのではなく、相対位置上で信頼できる区間だけを利用するという考え方だ。

意義と影響

この研究は、推論モデル評価の焦点を「正解したか」から「どの時点で自分の正しさを示せるか」へ広げている。これは、トークン予算が限られる推論、複数サンプルによる投票、途中で計算を打ち切るシステムにとって重要である。

論文によれば、PosConf は RL による答えの集約で多数決を 6.1 ポイント上回った。また、厳しいトークン予算下での OPD の早期停止でも、後半の逆校正領域を避けることで最大 4.3 ポイントの改善を示した。

実務的な示唆は大きい。開発者は、モデルの信頼度を推論全体で一様に信頼できる品質スコアとして扱うべきではない。後学習は正答率だけでなく、信頼度が正しさと結びつくタイミングも変える。今後の推論システムでは、段階と位置を考慮した校正が重要な設計要素になりそうだ。

出典：arXiv