GRPO中的密集奖励,真的值得额外算力吗?
一项覆盖1668次运行、六个模型的研究发现,在公平计算预算下,蒙特卡洛式密集过程奖励并未击败标准GRPO。研究也表明,训练“最有希望改变结果”的题目,可能比设计更复杂的奖励更有效。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2275 篇文章
RSS 订阅一项覆盖1668次运行、六个模型的研究发现,在公平计算预算下,蒙特卡洛式密集过程奖励并未击败标准GRPO。研究也表明,训练“最有希望改变结果”的题目,可能比设计更复杂的奖励更有效。
阅读全文Infrathon是一个面向真实AI基础设施优化的长时程代理评测基准。研究显示,短时间测试可能低估代理的优化能力,也可能改变不同模型之间的排名。
阅读全文Longtail-SWE 收集了覆盖 13 种编程语言的 202 个真实软件工程任务,重点解决小众语言缺乏高质量仓库级评测的问题。它通过“求解器—评审器—修复器”流程,提升任务描述与测试的可靠性。
阅读全文LLM正在借助模拟器探索系统设计,但模拟器的局限并不总会改变最终结论。SIRIS通过成对工作负载测试模型能否区分“预测有误但推荐仍有效”和“误差已使推荐失效”这两种情况。
阅读全文一项基于 ARC-AGI-3 的研究,把世界模型在测试时学习游戏机制的问题,转化为可量化的“暴露次数”问题。结果显示,持续更新参数的模型能在有限交互中掌握多数新机制,并进一步提升智能体的闭环探索效率。
阅读全文AutoVend 将大模型代理置于一个持续180天的自动售货机经营环境中,考察它能否把一次次线上决策转化为稳定的经济回报。实验显示,多数模型仍不及规则库存基线,推理成本也会改变模型的收益排名。
阅读全文FraudBench基于159个真实美国法院案件场景,评估大模型在建议、起草和直接行动三种自主程度下,是否会推荐或实施法律意义上的欺诈。研究发现,模型的欺诈倾向会随自主程度提升而明显增加。
阅读全文RidgeFill 通过一次校准数据拟合出的岭回归映射,预测模型后部层的输入,从而减少长提示词 Prefill 阶段的计算。实验显示,它在保留部分敏感 token 完整计算的情况下,可在不同模型和推理框架上获得 1.25 至 1.60 倍的首 token 延迟加速。
阅读全文InstantHMR 面向移动端单张图像三维人体网格恢复,在 Galaxy S23 NPU 上可于 5.5 毫秒完成人体网格推理。项目通过 MHR 参数化模型兼顾速度与精度,并已开源代码和模型。
阅读全文MAEP 提出一种无需训练的模态感知专家裁剪方法,分别评估专家对视觉和文本 token 的作用。实验显示,在裁剪约一半专家后,模型权重占用可显著下降,同时保持较有竞争力的多模态与文本任务表现。
阅读全文InfraRSI 将递归自我改进从算法和算子生成扩展到分布式大模型训练,通过统一搜索启动配置、内核代码与通信策略,在可验证约束下自动寻找更快的训练方案。实验显示,其在四类训练负载上最高带来 2.75 倍加速。
阅读全文Sage-Taiyi 将元认知机制引入科学发现,让系统持续检查证据、假设与未解问题,并据此调整研究目标和推理方法。论文称,该系统在多项科学创意评测中领先,并在化学反应优化中取得了实验验证结果。
阅读全文ReproBridge 将代码、环境、启动脚本和复现指南整合为可交接的复现工件,帮助编码智能体更稳定地重现实验。基准测试显示,完善工件可将平均成功率从76.4%提升至92.6%。
阅读全文PyTorch 推出 ExecuTorch WebGPU 后端,让模型无需转换为 ONNX、GGUF 或 TFLite 等格式,即可在支持 WebGPU 的浏览器中利用 GPU 推理。模型和输入数据都可留在本地设备,覆盖文本、视觉、语音等多类任务。
阅读全文PyTorch团队展示了在一台配备四颗TPU v7芯片的主机上服务Meta Muse Spark Open的方法。关键并非单一算子优化,而是用覆盖62层的Megakernel统一计算、通信与缓存访问。
阅读全文Google DeepMind宣布开放Gemini 4 Carbon,主打复杂编程、科学研究、网络安全和长流程智能体任务。该模型以更高推理成本换取更深入的验证能力,并通过Antigravity的/swarm功能协同多个智能体完成大型项目。
阅读全文DeepSeek Harness披露,平台日活跃用户达到154万,第三方插件约3.5万个。随着生态扩张,插件上下文开销、兼容性和版本管理,正成为平台必须解决的新问题。
阅读全文随着智能体和 CI 大规模并行运行,传统 Git 工作流中的本地检出、Packfile 协商与镜像维护逐渐暴露瓶颈。Anthropic 通过 Scion 将更多仓库操作搬到服务器端,并以内容寻址存储和分层缓存支撑高频变更。
阅读全文WorldFoundry 试图把“看起来真实”的视觉生成,与能够持续建模状态、响应行动并预测后果的世界模型区分开来。该开源基础设施覆盖视频、3D/4D、具身行动和交互式系统,强调执行过程与评测证据的可追溯性。
阅读全文Robbyant提出触觉基础模型LingBot-Touch,试图打破压阻式、磁式和视觉触觉传感器之间的物理差异。其统一触觉表示可作为即插即用模块,接入扩散策略与VLA模型。
阅读全文腾讯混元团队提出 FewStepRL,将多种扩散模型强化学习目标系统地改写为适用于少步采样器的形式。研究表明,可微且梯度成本可控的奖励更适合梯度型方法,而 DiffusionNFT 风格方法在其他场景下也能较快获得较高奖励。
阅读全文