LLMの強化学習は新しい推論を教えるのか？「思考漏れ」を検証

導入

強化学習は、大規模言語モデルに数学や論理推論の能力を身につけさせる主要な手法と考えられている。しかし、Hugging Face Daily Papersで紹介された今回の研究は、性能向上の意味を慎重に見直す必要があると示した。強化学習後に正答率が上がったとしても、それが新しい推論戦略を学習した結果とは限らない。元のモデルに備わっていた能力が、再び使われるようになった可能性があるからだ。

研究対象は、THINKとNO-THINKを切り替えられるQwen3のようなハイブリッド推論モデルである。切り替えはチャットテンプレート内の少数の特殊トークンで行われる。一般的な学習レシピではNO-THINKモードで強化学習を行い、推論性能の向上を報告する。論文は、この現象の一部を「thinking leakage（思考漏れ）」と呼んでいる。

主なポイント

• NO-THINKの出力がTHINKらしくなる。 研究チームはQwen3-1.7B、4B、8BにGRPOを適用した。正答率が上がるにつれて、回答は長くなり、より内省的になった。また、元のモデルから見ても、自身のTHINKモードに近い出力と判断されやすくなった。
• THINKモードに近づくが、明確には上回らない。 強化学習の更新をさらに拡大すると、THINKモードの特徴が強まり、正答率も元のTHINKモードに近づいた。ただし、それを超える結果は示されていない。この点は、まったく新しい推論能力を獲得したという説明に疑問を投げかける。
• 因果的な介入でも確かめられた。 Qwen3-8Bでは、THINKに関係する低次元の活性化部分を操作した。強化学習済みモデルの値を元のモデルの値に置き換えると、強化学習による性能向上の大部分が失われた。逆方向の置換では、向上分のかなりの部分が元のモデルへ移った。また、変化は空のthinkブロックを読む注意ヘッドを通っていることも示された。
• GRPOの信号が原因かもしれない。 アドバンテージによって強く更新された回答は、よりTHINKモードに似ていた。その信号から計算した勾配も、モデルを内省的な振る舞いへ動かした。

意義と影響

この研究は、強化学習が無意味だと主張しているわけではない。重要なのは、ポストトレーニング後の変化を「新しい能力の獲得」と一括りにしないことだ。明示的な思考スイッチを持つモデルでは、NO-THINKでの学習が推論機構をゼロから作るのではなく、重み、活性化、注意経路を通じて、元のTHINK挙動を部分的に回復させている可能性がある。

この違いは評価設計に直結する。学習前後の正答率だけでは、新しい戦略を学んだのか、タスクへの適応が進んだのか、抑制されていた能力を再利用したのかを区別できない。今後はモードを揃えた比較、活性化への介入、能力の獲得と呼び出しを分ける因果分析が必要になるだろう。開発者にとっても、RL手法は最終精度だけでなく、出力長、モードの変化、推論コストと合わせて評価すべきだという示唆になる。

出典：Hugging Face Daily Papers