LLM強化学習は難問を諦めない：NGUが計算資源を再配分する方法

導入

大規模言語モデルの推論能力を高める方法として、強化学習（RL）は重要な役割を担っている。しかし、RLによる改善はデータセット内のすべての問題に均等に現れるわけではない。論文「Learning to Solve Hard Problems in RL for LLMs by Never Giving Up」は、モデルがもともと解きやすい問題では大きな向上が見られる一方、本当に難しい問題では改善が小さいという傾向を示している。

著者らはこれを、LLM強化学習におけるマタイ効果と名付けた。経済学やネットワーク科学で使われる「豊かな者がさらに豊かになる」という考え方になぞらえた表現だ。簡単な問題は正解サンプルを得やすく、その成功がさらに学習を促す。一方、難問は正解をほとんど生成できないため、学習に利用できる信号も少なくなる。

主なポイント

• 原因は難問の計算量だけではない。 一般的なRLでは、問題ごとにほぼ同じ数のサンプルを生成することがある。モデルが簡単な問題を解けるようになった後も、そこへ計算を使い続ければ、難問へ回す予算が減ってしまう。
• NGUはサンプリングを適応化する。 Never Give Upの発想は単純で、ある問題から正解が得られるまでサンプルを生成し続ける。正解できた問題には、同じ規模の探索を続けない。
• 非同期RLが再配分を可能にする。 問題を一斉に同じ回数だけ処理するのではなく、それぞれの進み具合に応じて扱う。簡単な問題は早く離脱し、難問は追加の試行を受ける。
• 学習の安定性も重要になる。 研究では、非同期かつオフポリシーに近い設定でNGUを動かす際の設計上の選択肢も調べ、実践的な指針をまとめている。

結果と意味

Deepscaler数学ベンチマークでは、NGUは計算量あたりの性能を改善し、とくに難しい問題で効果が大きかった。Manufactoriaというコーディング課題では、標準的なGRPOとテスト単位の報酬を組み合わせると、簡単なテストには合格できても、簡単なテストと難しいテストが混在する問題を完全には解けない場合がある。NGUは未達成のテストを対象に試行を繰り返し、より難しいテストへ段階的に進むことで、問題全体の解決を目指す。

この研究の重要性は、複雑な新アルゴリズムよりも、RLを計算資源の配分問題として捉え直した点にある。どの問題に、どれだけ長く試行の機会を与えるかは、最終的なモデル能力を左右する。固定されたバッチやサンプル数は扱いやすい一方、すでに学習済みの内容に計算を使いすぎ、難問や長い尾の問題を十分に探索できない可能性がある。

今回の結果は数学とコーディングが中心であり、異なる報酬設計やタスク分布、学習規模でも同じ効果が得られるかは今後の検証が必要だ。それでもNGUは、モデルが難問に出会ったとき、平均的な予算の都合で早々に打ち切るのではなく、解けるまで試行を続けるという明確な方向性を示している。

出典：Hugging Face Daily Papers