后训练之前，如何评估大模型的智能体能力？

导语

大语言模型的智能体能力，不能只用知识问答或静态文本预测来衡量。一个模型是否能成为可靠的编码或研究助手，还取决于它能否理解任务、调用工具、持续执行、发现错误并修正路径。然而，在预训练阶段，模型通常还没有经过聊天对齐或专门的智能体训练，直接把它放进成熟的交互系统中评测，往往会遇到接口和行为格式不匹配的问题。

论文提出 ASAP（Agent Scaffold Adaptation for Pretraining Evaluation），试图在这一阶段提供更接近真实使用场景的评估方式。

核心方法

ASAP 的关键不是重新训练一个聊天式智能体，而是尽量保留基础模型的 completion 接口，并对现有智能体脚手架做轻量调整。其主要做法包括：

• 结构化轨迹续写：让基础模型接续已有执行轨迹，以更自然地进入任务流程，而不是要求它立即表现出完整的对话式智能体行为。
• 短参考前缀：提供有限的上下文示例，帮助模型理解工具、动作和任务状态之间的关系，同时减少对大规模专门适配的依赖。
• 最小恢复机制：当模型输出不符合执行要求或任务暂时中断时，通过有限的恢复措施维持评测流程，但不把系统改造成高度依赖人工规则的代理。

研究者将这一框架应用于软件工程和深度研究基准，并比较不同基础模型及其预训练检查点的端到端表现。论文摘要指出，ASAP 能够区分不同模型和训练阶段的表现；更重要的是，它不只输出一个总分，还保留模型实际生成的执行轨迹。

为什么轨迹比单一分数更重要

传统预训练评估通常关注损失、困惑度或静态任务准确率。这些指标适合衡量语言建模和知识能力，却难以回答一些智能体评测中的关键问题：模型是否会主动探索？是否能够修改已有方案？是否会测试自己的结果？遇到失败后能否恢复？

ASAP 的轨迹视角，可以把这些行为拆开观察。一个模型最终没有完成任务，可能是因为不会规划，也可能是因为缺乏测试意识、无法处理错误，或在长流程中逐渐偏离目标。反过来，即使最终结果相同，不同模型的探索和恢复路径也可能完全不同。这为分析智能体能力在预训练不同阶段如何变化，提供了比聚合分数更细的证据。

意义与局限

这项工作并不是要替代传统预训练基准，而是强调端到端交互评估的补充价值。对于模型开发者而言，ASAP 有助于在后训练之前发现基础模型是否已经具备某些智能体行为倾向，也能帮助研究者比较后训练前后的执行模式差异。

不过，摘要没有提供具体的性能数字，也没有说明不同脚手架、恢复策略和任务设置对结果的独立影响。因此，ASAP 更适合作为一种评估框架和诊断工具，而不是单一、完备的智能体能力标准。其真正价值，在于把“模型能否行动”从抽象代理指标，推进到可观察、可分析的任务执行过程。

来源：Hugging Face Daily Papers