導入

LLM のアライメント学習では、数学、物理、科学、コード生成、指示追従など、性質の異なるタスクを同時に扱うことが多くあります。しかし、同じ方策であっても、各 prompt グループが必要とする探索量は同じではありません。ここに、従来の一律な熵制御の限界があります。GEPO は、そのズレを埋めるために提案された手法です。

何をしているのか

GEPO は GRPO に対する軽量な拡張です。新しい大規模モジュールを追加するのではなく、学習時にすでに存在する grouped samples を活用し、グループ単位の熵を推定します。

その上で、entropy-conditioned asymmetric advantage shaping を行います。

• 低熵グループでは、正の advantage を弱め、過度な利用を防ぐ
• 高熵グループでは、負の advantage を保ち、探索を早く潰しすぎない
• しきい値は履歴統計から適応的に決定し、固定ルールに依存しない

なぜ重要なのか

GRPO では advantage の正規化によって学習を安定化しようとしますが、混合タスク環境ではその advantage が熵に依存した偏りを持つ可能性があります。すると、異なる prompt グループ間で advantage の意味が完全には比較できなくなります。

つまり問題は、単なる「良い更新・悪い更新」ではなく、各グループの探索状態をどう解釈するかにあります。

この手法の意義

• 混合タスクの RL により自然に対応しやすい
• 既存の GRPO 基盤に載せやすく、実装負荷が比較的低い
• 探索と利用のバランスをグループごとに調整できる
• 素材によれば、2 つの base model と 13 個のベンチマークで、GRPO や最近の熵制御法より安定した改善を示している

まとめ

GEPO は、熵制御を「全体のつまみ」ではなく「グループを見分ける制御」として再設計した点が面白い研究です。LLM の RL では、同じ学習ループの中に異なる不確実性を持つタスクが混在します。そのとき、データ構造に合わせて制御信号も変える発想は、今後の混合タスク最適化で重要になる可能性があります。

参考: Hugging Face Daily Papers