LLM-as-a-Coach：評価を経験知として学習に戻す

導入

オープンエンドな課題では、強化学習の報酬を1つの数値に圧縮してしまうことが多い。しかし、文章生成や対話、計画のような非検証型タスクでは、その数値だけでは十分な学習信号にならない。どこが良くて、どこを直すべきかという情報が失われやすいからだ。そこで本論文は、評価をそのまま学習に使うのではなく、経験知として再構成する方向を提案している。

仕組みの要点

EL では、従来の LLM-as-a-Judge を LLM-as-a-Coach に変える。コーチは単に合否を出すのではなく、オンポリシーの応答に対する判断を転移可能な知識へと要約する。その知識は teacher model の条件として使われ、さらに on-policy context distillation によって方策モデルの重みに取り込まれる。

ポイント

• 数値より情報量が多い: スカラー報酬よりも、文章ベースの経験知のほうが細部を残せる。
• 良い応答同士の差を保てる: すべてを同じ高得点として潰してしまいにくい。
• 汎化に強い: 学習分布の外のタスクでも、より安定した結果が示されている。
• 報酬ハッキングを抑える: 単純なスコア最適化に比べ、抜け道を見つけにくい。
• 複数設定で検証: 2種類の方策ファミリーで、自己生成のフィードバックと専有モデルのフィードバックの両方を試している。

意義

この研究の示唆は、非検証型タスクでは「何点か」より「何を学べたか」が重要だという点にある。評価をそのまま勾配信号に変えるだけでは不十分で、評価の中に含まれる説明的な知識を再利用するほうが、より実践的である可能性が高い。

今後この方向が広がれば、ポストトレーニングは単なる採点最適化ではなく、モデルに経験を伝える学習へと近づくだろう。

Hugging Face Daily Papers