事前学習からRLへ：チェスで読み解く推論能力の形成

導入

大規模言語モデルの推論性能を高めるうえで、強化学習は重要な後処理ステップになっています。しかし、RLだけを切り出して評価すると、どの改善がRLによるものか、どの部分が事前学習ですでに準備されていたものかが見えにくくなります。論文 Understanding Reasoning from Pretraining to Post-Training は、この接続部分を正面から扱っています。

著者らは、通常の巨大なテキストコーパスではなく、チェスを実験環境として選びました。チェスはルールが明確で、局面や正解手、報酬を比較的厳密に扱えるため、事前学習から後学習までを分析するためのノイズの少ないテストベッドになります。

主要ポイント

• LLMに近い訓練パイプラインを再現：5Mから1Bパラメータ規模の言語モデルを人間のチェス棋譜で事前学習し、合成された推論トレースで教師あり微調整を行い、その後、検証可能な報酬を持つチェスパズルでRLを実行しています。
• 事前学習損失がRL後の性能を予測：一定のRL計算量における最終性能は、事前学習時の損失と強く関連していました。つまり、RLの効果は後段だけで独立に決まるものではなく、前段の基盤に大きく左右されます。
• 事前学習トークンが多いほどRLの伸びが速い：RL報酬曲線の傾きは、事前学習トークン数に対しておおむね線形に改善することが報告されています。十分な事前学習は初期性能を上げるだけでなく、RLの学習効率も高める可能性があります。
• RLはSFT方策の単純な強化ではない：易しいパズルでは、RLはSFTがすでに好んでいた正解手をさらに強めます。一方で難しいパズルでは、SFT段階ではほとんど出てこなかった正解手を表面化させることがあります。
• 数学領域でも似た傾向：著者らは数学ドメインのテキストで訓練した1Bモデルでも検証し、より長く事前学習されたチェックポイントほどRL後の性能が高く、改善も速いという同様の傾向を確認しています。

意義と影響

この研究の重要性は、事前学習、SFT、RLを別々の工程としてではなく、ひとつの連続したシステムとして測定した点にあります。モデル開発の観点では、RL計算を増やすだけでは十分でなく、その計算を有効に使える事前学習基盤が必要だという示唆があります。

また、RLの役割についても見方を更新します。RLは単なる仕上げや確信度の増幅ではなく、難しい課題では新しい解の候補を探索可能にする働きを持つかもしれません。これは、後学習によって推論モデルが急に難問に強くなる現象を理解するうえで有用です。

もちろん、チェスは高度に構造化された領域であり、自由形式の言語推論へそのまま一般化することはできません。それでも、推論能力が訓練過程のどこでどのように形成されるのかを調べるための、再現性の高い実験枠組みとして価値があります。

出典：Hugging Face Daily Papers