強化学習

チェックリストの単純加算は、重要な判断を外したモデルでも、不要な情報を増やせば高得点を与える可能性があります。ProRubricは関連する条件を一体として判定し、この報酬ハッキングを抑えます。

TIPSは、最終的な判定の正しさだけを報酬として、生成型のプロセス報酬モデルを学習する手法です。結果ラベル付き軌跡3,200件で、ProcessBenchにおいて85.2 F1を達成しました。

KlingAI Research は、プロンプトごとの報酬改善方向を集約し、モデルのドリフトに応じて復元する DiffusionART を提案しました。画像・動画生成の実験で、競合手法と同等以上の報酬水準に、より少ない GPU 時間で到達したと報告しています。

Xiaomiは、MiMo-V2.6の後学習で1回のRLステップに数十億トークンを処理し、最大約260万ドルの費用が発生したと報告しました。焦点は計算量の拡大だけでなく、評価器、環境、Harness、MoEの安定性を同時に設計する点にあります。

MiMo-V2.6の技術報告は、マルチモーダル基盤モデルの強化学習を、計算量だけでなく環境、評価、運用基盤まで含めて拡張する方法を示している。

Self-Retrospection Distillation（SRD）は、エージェントがタスクを終えた後の軌跡を使い、行動前に予測すべき落とし穴を学習させる手法です。グループ内の報酬が均一になりやすい強化学習でも、軌跡に残る情報を学習信号として活用します。

推論モデルが自ら作る問題は学習データになり得る一方、無効な問題や数学的に同じ問題の反復が性能低下を招く。R-Questは有効性と新規性のフィードバックでこの循環を修正する。

TRACEは、MoE言語モデルの強化学習で生じる学習経路とRollout経路の量子化差を抑える手法です。Rollout側の量子化結果で学習側のFP4丸めを導き、BF16に近い性能と最大5.4倍のRollout高速化を報告しています。

異なるトークナイザーを使う教師と生徒のオンポリシー蒸留では、アライメント範囲を広げれば性能が上がるとは限らない。厳密に対応する位置で、質の高い信号を与える方が有効な可能性がある。

NeMo-DCRは、学習クラスタとrolloutクラスタの間で変更された重みだけを転送しながら、完全なチェックポイント読み込みとビット単位で一致する結果を実現します。1兆パラメータ、変更率3%のテストでは、refit時間を87.5分から2.5分に短縮しました。

HuatuoGPT-3は、教師モデルの出力を一時的なガイダンスとして利用するOnePOを提案し、基盤モデルから直接、医療分野への適応を試みる。論文要約によれば、27BモデルはHealthBench Professionalで71.4点を達成した。

LoGRAは、LLMの強化学習で有用な勾配信号を低ランクのスケッチとして保持し、予測KLによるステップ制御を組み合わせる手法です。論文要約では、推論タスクで平均学習メモリを最大45.7%削減したと報告されています。

複数のフローベースVLAモデルを調べた研究から、強化学習による変化がアクションエキスパート内の小さなTimestep Modulesに集中することが分かった。shiftベクトルの更新は、タスク成功や転移関係も示す。

オンライン方策蒸留が、異なる規模のモデル間で推論能力をどのように移転するかを体系的に分析した研究です。小型の強化学習モデルでも大きな学生モデルを改善でき、教師の規模やスコアだけでは指導価値を説明できないことが示されました。

RLVRでは、限られたロールアウトの中で全回答が失敗すると、GRPOが利用できる報酬信号が失われます。GRAFTは、別のモデルが見つけた軌跡を共有しつつ、オフポリシーのずれを抑制します。

RLVRでは、ロールアウトを生成する推論エンジンと勾配を計算する学習エンジンが、同じトークンに異なる確率を割り当てることがあります。新手法CISは、トークンの信頼度を考慮した重要度サンプリングで、この差による更新誤差を抑えます。

清華大学NLPグループが、報酬モデルを単一値の予測ではなく条件付き密度推定として扱う Diffusion Reward Model（DRM）を提案した。

Qwenは、極端に長いタスク向けのオンライン強化学習フレームワーク「QwenGyre」を提案した。ロールアウトと学習の間でGPUを柔軟に再配分し、分岐履歴の再構成や軌跡の重複排除を行う。

VLA-Precisionは、視覚言語行動モデルを実世界でオンライン強化学習する際の方策ドリフトと計算コストに取り組む。ACoBによる段階的な価値校正と、ACoB-Streamによるストリーミング処理を組み合わせる。

ツール呼び出しエージェントは構造化された操作と自然言語の要約を同じ軌跡で生成します。SLCA-GRPOは片方の報酬がもう片方のトークンを乱さないよう、出力セグメントごとに学習信号を分離します。

Rufus-Airは、GLM-4.5-Air-Baseを基盤にした、8段階のオープンな後学習レシピを公開した。焦点はモデルの結果だけでなく、データ、報酬、工程順序、インフラをどう組み合わせるかにある。