Agent-R²：用真实文件训练更能完成生产力任务的智能体

导语

让智能体真正接手生产力工作，难点远不止“会不会调用工具”。面对年度报告、表格、PDF 等异构文件，智能体需要理解任务背景，沿着较长的专业流程推进，并最终交付格式正确、证据充分、符合细则的结果。Agent-R²关注的正是这一训练瓶颈：如何以可扩展的方式构造接近真实工作的后训练数据。

核心方法

Agent-R²没有把重点放在由大模型凭空生成文件，而是将数据合成过程锚定在真实来源上：

• 从职业活动种子出发，寻找与文件处理相关的真实工作意图；
• 从网络语料中提取工作流证据，并检索、核验公开的真实附件；
• 为任务生成具体指令、交付物和细粒度评分标准；
• 在沙箱中运行专家轨迹，通过评分标准检查结果，发现不合理或未满足的要求后再修订。

研究团队从约1万个网络候选中筛选出约4000个任务实例。每个任务平均包含2.51个真实多格式附件和15.3条交付物级评分标准，专家轨迹平均为18步、4.18万令牌。这样的设计把“任务是什么”“文件里有什么”和“怎样才算完成”连接起来，而不是只训练模型生成看似合理的文字。

实验结果

研究者以 Qwen3-4B-Thinking-2507 为基础，先进行监督微调，再加入基于评分标准的强化学习，得到 Agent-R²-4B。该模型在 GDPval 上的 Pass@1 为51.0%，高于 Qwen3-235B-A22B-Thinking-2507 的48.0%；在 OfficeQA 上则从基座模型的2.2%提升至14.8%，也超过235B模型的13.8%。

分析还显示，模型完成任务的比例达到90.9%，并采取了更多有效的工具步骤。消融实验中，使用真实文件的设置得分为43.3，高于合成文件的41.4；真实文件还带来2.54倍的专家工具调用。移除评分标准奖励后，强化学习结果从51.0%降至49.5%。

意义与局限

这项工作说明，智能体后训练的关键可能不是单纯扩大模型或增加轨迹数量，而是提高训练环境与真实工作的对应关系。真实附件会带来格式差异、信息缺失和跨文件核对等摩擦，迫使模型学习更有用的检索、操作和验证行为；交付物级评分标准则让“完成任务”从主观判断变成可检查的目标。

不过，论文展示的是基于公开网络来源构造的任务集合，不能直接等同于所有企业内部流程。数据覆盖范围、文件版权与隐私，以及 GDPval、OfficeQA 对实际办公能力的代表性，仍需进一步评估。项目已公开代码和模型，后续能否在更多职业领域保持效果，将是检验这一路线的重要问题。

来源：Hugging Face Daily Papers