推論モデルに「いつ止まるか」を学習させる

大規模推論モデルに求められる能力は、正しい答えを出すことだけではない。そもそも、その質問に答えるための情報がそろっているかを判断することも重要だ。arXivで公開された研究は、情報が不足したタスクに対して、モデルが必要以上に長く推論する問題を取り上げている。

人間とは異なる推論コスト

研究者は、モデルの挙動を人間を対象にした研究結果と比較した。人間は、問題が与えられた情報だけでは解けないと分かると、推論にかける労力を抑える傾向がある。解答可能な問題に費やす思考量を上限として、無意味な探索を続けない。

一方、大規模推論モデルは、解答不能なプロンプトに対しても長いChain of Thoughtを生成し、答えを導こうとし続ける場合がある。追加の推論を続ければ解決できるという前提で動くため、必要な前提が欠けている問題でも計算資源を消費してしまう。この問題は、誤答のリスクだけでなく、推論時の遅延やコストにもつながる。

解けるかどうかを先に判断する報酬

この課題に対し、研究チームは人間の「資源合理性」という考え方に着目した。そして、タスクに解決に必要な情報が含まれているかを効率的に判断するよう促す、新しいGRPO報酬を設計した。狙いは、無条件に拒答を増やすことではなく、深い推論を始める前に問題の可解性を評価させることにある。

複数の4B規模の推論モデルをこの報酬で微調整し、次の点を評価した。

• 情報不足のタスクを認識して拒答できるか
• 解答可能なタスクへの回答能力を維持できるか
• 判断までに生成する思考連鎖を短縮できるか

報告された結果では、拒答性能が平均12.8%向上した。解答可能なタスクへの回答能力を保ったまま、思考連鎖の長さは平均44%短くなった。つまり、より適切な拒答には必ずしも長い推論が必要なのではなく、情報不足を早期に見抜くことが重要だと考えられる。

実運用への意味

この研究は、信頼性と推論効率を同時に考える必要性を示している。実運用のシステムでは、解けない依頼に対する長時間の推論を避けることで、遅延や計算コストを抑えられる。利用者にとっても、根拠の薄い答えを返すより、必要な情報が不足していると早く伝える方が有用だ。

ただし、提示された素材から確認できるのは、複数の4Bモデルで得られた結果までである。より大規模なモデル、異なるタスク、実際のサービス環境で同じ効果が得られるかは明らかになっていない。

今後の焦点は、真に解けない問題と、単に深い推論を必要とする問題をどう見分けるかだ。停止を強く促しすぎれば、答えられる質問まで拒答する可能性もある。推論能力とは、考え続ける力だけでなく、これ以上考えても有益でないタイミングを判断する力でもある。

arXiv