强化学习

工具调用智能体的输出同时包含结构化调用和自然语言总结，传统 GRPO 可能把同一个奖励信号错误地施加到所有 token。SLCA-GRPO 通过分段锁定信用分配，降低两类行为之间的奖励干扰。

Rufus-Air 基于 GLM-4.5-Air-Base，公开了一套包含八个阶段的后训练方案。论文重点不只是模型结果，更是数据筛选、奖励设计、训练顺序与基础设施如何共同决定效果。

Bellman Policy Optimization（BPO）是一种无需显式价值模型的策略优化方法。它将基于策略镜像下降的训练目标改写为轨迹级目标，并以平滑的互补 token 概率比修正策略分布差异。

Shopify搭建了一套持续学习闭环，把真实生产中的失败案例转化为训练信号并写回模型权重。该方案在提升质量的同时，将服务成本降低了96%。

一项研究发现，推理模型面对信息不足的问题时，往往比面对可回答问题投入更多计算，并在无休止的思考后仍尝试作答。研究者通过强化学习奖励高效判断任务是否可解，使模型在提升拒答表现的同时显著缩短思维链。

微软研究团队提出 When2Think，通过实例难度感知控制，让混合推理模型在简单问题上快速作答、在复杂问题上保留更长推理。实验显示，该方法有望同时改善数学任务的准确率与计算效率。

小米为MiMo-V2.6的Flash和Pro模型开放了强化学习训练页面，奖励曲线、训练步数、费用和硬件故障均可实时查看。更值得关注的是，小米试图从训练规模、环境数量和评分计算三个方向扩展Agent强化学习。

一项新研究指出，LLM强化学习存在“马太效应”：简单题提升明显，难题却进步有限。Never Give Up通过按题目难度动态分配采样计算，让训练过程把更多资源投入尚未解决的问题。

DPO通常把偏好数据视为可靠监督，但现实中的比较结果可能方向错误、差异微弱或根本难分。PLC-DPO利用策略与参考模型之间的校准边际，将样本路由为正向、反向或平局信号，以减少错误更新。

RadixArk 开源 Miles v0.1，试图将前沿模型后训练从实验脚本推进为可验证、可扩展、可定制的生产级系统。它覆盖 rollout、训练、权重同步，并支持多种后训练范式。

弱到强泛化的关键，不是让学生模型复制弱教师，而是借助教师提供的优化方向。On-Policy Reverse Distillation（OPRD）将教师信号限制在验证器支持的策略更新上，从而加速强化学习而不改变其最终优化目标。

FlowBalance提出一种面向推理模型的自我改进方法，将终局验证器的结果与模型自身的稠密反馈结合起来，避免错误推理被模型反复强化。其核心是在完整回答轨迹层面重新加权，而不是额外加入逐词模仿损失。

长程智能体往往只能在整条轨迹结束后获得一个粗粒度奖励，难以判断哪些动作真正促成了成功。DRACO通过动态生成多指标评分标准，并将轨迹级评价重新分配到相关步骤，为GRPO提供更细致的训练信号。

一项针对 Countdown 任务的研究发现，RLVR 带来的推理多样性下降主要发生在首次计算操作之前。模型并非不会执行替代方案，而是越来越少主动进入这些解题分支。

星尘智能发布 SmoothRL，用异步执行下的动作区域划分，解决机器人“生成过但没执行”的动作被错误纳入强化学习的问题。真机测试显示，投掷、戴笔帽和开箱任务的成功率均有明显提升。

一项新研究发现，在策略蒸馏的收益可能并不主要来自教师模型的知识传递，而来自对学生模型低概率生成 token 的抑制。基于这一观察，研究者提出了无需教师监督的 On-Policy Self-Adaptation。

KAIST AI 提出的 J-Zero，尝试在不依赖人工标注数据的情况下，让任务生成、问题求解与答案评估三个角色共同迭代。该方法同时面向可验证和不可验证任务，并在后者上展现出更明显的改进。

一篇新研究系统分析了进化策略在大语言模型推理后训练中的优化行为。结果显示，ES 在提升 Pass@1 的同时，还能保留更广泛的解题路径，并在 Pass@K 上超过 GRPO。

TTPO提出一种无需人工标签的测试时训练方法：把多数投票结果当作弱监督信号，同时区别对待认同与不认同该结果的推理轨迹。研究显示，这种非对称优化能够降低伪标签错误带来的风险。

WarpSAC 的核心观点是：离策略强化学习的最佳训练策略取决于数据供给，而不是简单追求更多稳定化机制。研究据此提出面向不同数据 regime 的 SAC 变体，并在 CPU 与 GPU 并行训练中取得改进。

Co-RL提出一种协作式多智能体强化学习框架，让多个不共享参数的模型通过彼此反馈获得奖励。在没有人工标注或可验证真值的情况下，模型仍能提升文本与多模态推理表现。