LLM強化学習の訓練・推論ミスマッチはなぜ起きるのか

導入

大規模言語モデルの強化学習におけるオンポリシー学習は、学習対象の現在の方策が応答を生成することを前提とする。しかし実際のシステムでは、高速な推論エンジンが応答をサンプリングし、別のトレーナーが損失と勾配を計算する構成が一般的だ。両者の数値計算が完全に同じとは限らず、非同期処理では保持しているモデル重みの世代も異なる。

その結果、学習データは厳密な意味でオンポリシーではなくなる。ジョージ・ワシントン大学の研究チームによる本研究は、このミスマッチを単一の誤差として扱うのではなく、原因ごとに分解して、どのような補正が必要かを調べた。

主な発見

• 原因は二つある。 サンプラーの重みでトレーナーを評価することで、各トークンの誤差を、推論エンジンの数値的差異と、トレーナーの方策遅延に分けられる。
• 数値的差異は比較的安定している。 学習中もおおむね一定で、更新に固定的な偏りを加える。各プレフィックスを条件にスコアを中心化すると、その主要な偏りを取り除ける。
• 方策遅延は増幅する。 トレーナーだけが更新されると、サンプラーとの距離が広がる。そのずれによるバイアスが次の更新に入り、さらに遅延を大きくするフィードバックが生じる。
• 重要度重み付けには限界がある。 方策比が集中している間は有効だが、Qwen3-1.7Bでは、その有効サンプルサイズが半分を下回った段階で補正が機能しなくなった。

DLCの仕組み

研究チームはこの分解に基づき、差異・遅延補正（Discrepancy-Lag Correction、DLC）を提案した。まず数値的差異を中心化し、持続的な偏りを抑える。次に、サンプラーの重みを基準として、方策遅延に由来する重要度比をクリップする。さらに有効サンプルサイズが半分未満になった場合は、信頼性の低い比を使い続けず、サンプラーをトレーナーと再同期する。

Qwen3-0.6BとQwen3-1.7Bでの実験では、古いサンプラーを使った場合でも、DLCによる学習とオンポリシー学習のKLダイバージェンスの差を、独立した二つのオンポリシー学習間のKL差の2倍以内に抑えた。また再同期により、トークン単位の補正だけでは防げなかった崩壊も回避できた。サンプラーのプレフィックス上だけでKLを測る方法では、こうした危険を見逃す場合がある。

意義

本研究の重要な点は、訓練・推論ミスマッチを一種類のノイズとして扱わないことにある。比較的固定された数値バイアスには中心化が適し、学習の進行に伴って変化する方策遅延には、比率の管理と重みの同期が必要になる。

LLM強化学習の基盤を設計する際には、報酬や単一のKL指標だけでなく、重要度比の集中度と有効サンプルサイズも監視すべきだろう。本研究はすべてのモデルやアルゴリズムへの普遍的保証を示すものではないが、ミスマッチの原因と対策を対応づける実践的な分析枠組みを提供している。

出典：Hugging Face Daily Papers