强化学习

一项研究发现，只检查格式和约束是否满足，可能让模型用几乎没有实质内容的回答拿到高分。研究团队提出 CALIF，在不增加评审模型的情况下，缓解强化学习带来的质量下降。

ACCRUE 为机器人基础模型引入持续式离策略强化学习，通过继承轻量级 actor-critic 和记忆少量历史轨迹，让机器人更快适应后续任务并减少灾难性遗忘。实机实验显示，后续任务所需的机器人交互时间最多降低 68.5%。

一项研究发现，基于清单的强化学习可能让模型通过堆砌无关信息弥补关键失误，最终得分更高、回答却更差。ProRubric 不改训练优化器，而是改造评分聚合方式，让关键要求必须协同满足。

KlingAI Research 提出 DiffusionART，通过按提示词聚合奖励方向和自适应恢复机制，减少扩散模型在线强化学习中的样本与算力开销。在视频生成实验中，该方法以显著更少的 GPU 小时达到对比方法的后期平均奖励水平。

人大团队提出TIPS，用结果正确与否作为唯一奖励，训练模型生成并检查推理步骤。在仅使用3200条结果标注轨迹的情况下，模型在ProcessBench上取得85.2 F1。

小米披露 MiMo-V2.6 的后训练细节：单个 RL Step 可产生数十亿 Token，成本最高约 260 万美元。其重点不只是扩大算力，还包括更细致的 Agent 评分、反奖励投机、Harness 泛化与 MoE 稳定性控制。

小米MiMo团队发布MiMo-V2.6系列技术报告，围绕更大训练批次、更复杂环境和更强评分器，系统推进多模态模型的强化学习扩展。

Self-Retrospection Distillation（SRD）提出“前瞻学习”方法，把智能体完成任务后的轨迹信息，蒸馏为行动前的预测目标。在奖励对比不足、群组奖励完全一致时，它仍能从失败轨迹中提取训练信号。

自我生成问题本应让推理模型持续进步，却可能因无效问题和数学题重复而出现性能崩溃。R-Quest引入有效性与新颖性反馈，让模型学会拒绝坏问题并减少变体重复。

TRACE针对MoE语言模型强化学习中的训练路径与Rollout路径不一致问题，用Rollout侧量化结果反向指导训练侧FP4舍入，并通过缓存机制控制额外开销。实验显示，该方法在保持接近BF16 Rollout效果的同时，最高可带来5.4倍Rollout加速。

一项关于跨分词器在线策略蒸馏的研究发现，扩大对齐范围并不必然带来更好效果。相比覆盖更多不匹配片段，在严格对齐位置提供紧凑、稳定的监督可能更有效。

NeMo-DCR 面向训练集群与 rollout 集群之间的权重同步，只传输发生变化的参数，并保证接收端与完整检查点加载结果逐位一致。在 1 万亿参数、3% 元素变化的测试中，同步时间从 87.5 分钟降至 2.5 分钟。

HuatuoGPT-3 提出 OnePO，将教师模型输出作为阶段性引导，尝试从基础模型直接进行领域强化学习适配。论文称，27B 版本在 HealthBench Professional 上达到 71.4 分。

LoGRA 将大模型强化学习中的梯度信号压缩为低秩表示，同时配合预测 KL 的步长控制，在尽量保持效果的前提下降低训练内存。论文报告称，该方法最高可减少 45.7% 的平均训练内存，并支持在单个八卡节点上稳定训练 27B 模型。

一项针对多种流式VLA模型的研究发现，强化学习产生的参数更新呈现明显低秩特征，并高度集中于动作专家中的Timestep Modules。研究进一步指出，这些模块中的shift向量不仅与任务成功密切相关，还能反映任务之间的迁移关系。

一项系统研究考察了在线策略蒸馏在不同模型规模与能力组合下的迁移规律。结果显示，小型强化学习专家不仅能帮助更大模型提升推理能力，学生模型还可能超过教师本身的得分。

RLVR训练常因有限采样预算遇到“全错组”，无法产生有效的策略梯度信号。KAIST AI提出GRAFT，在控制离策略偏差的同时，让模型利用其他模型已经发现的成功或失败轨迹。

大语言模型在RLVR训练中，负责采样的推理引擎与负责计算梯度的训练引擎，可能对同一 token 给出不同概率。论文提出校准重要性采样，通过结合 token 置信度的截断规则，降低这种错配对策略更新的影响。

清华NLP团队提出 Diffusion Reward Model，将奖励建模重新表述为条件密度估计，让模型保留人类偏好中的多模态与不确定性。

Qwen 团队提出 QwenGyre，用弹性 GPU 调度和轨迹去冗余机制支持超长程智能体的在线强化学习。论文称，该框架在 NL2RepoBench 上带来 6 个百分点的绝对提升，并显著缩短训练时间。

VLA-Precision 针对机器人精细操作中的策略漂移与训练效率问题，提出 ACoB 算法和 ACoB-Stream 架构。该方法通过分阶段价值校准与流式系统设计，提升真实世界在线强化学习的稳定性和吞吐效率。