The Trinity：让多模态智能体围绕能力递归自我进化

多模态智能体的能力提升，通常受制于两个问题：一是构造真实、异构且可验证的训练环境成本很高；二是任务越来越复杂，人工设计和迭代 Agent Harness 的速度跟不上任务变化。论文《The Trinity》试图从“任务共享哪些能力”这一角度，重新组织智能体的自我改进流程。

从任务类别转向能力树

许多外观完全不同的任务，可能依赖相同的底层能力。例如，不同模态或不同应用场景中的任务，或许都需要规划、状态追踪、工具调用、视觉定位或多步执行。The Trinity 利用经过验证的执行轨迹，分析任务之间的共同需求，并将原有任务树重组为层次化的能力树。这样，优化目标不再只是解决某一个具体任务，而是积累可以迁移到多个任务的能力模块。

框架包含三个角色：

• Creator：围绕能力树中的共同需求，生成更简单、可验证的模拟世界。
• Explorer：在这些环境中探索不同的解法和模块组合，寻找具有复用价值的能力。
• Evolver：根据执行结果筛选和继承有效更新，持续改进 Harness。

Real2Sim2Real 与 Harness 树

The Trinity 的关键机制是 Capability-Driven Real2Sim2Real。Creator 不直接为每个真实任务复制一个环境，而是抽象同一能力节点下多个异构任务的共同要求，生成便于验证和反复试验的模拟世界。智能体先在模拟环境中学习能力，再回到原始任务上进行评估，以观察能力是否能够跨表面形式迁移。

随着迭代进行，Explorer 通过选择性继承逐步形成 Harness 树。不同分支可以针对不同能力进行专门化，而经过验证的更新会在固定拓扑中累积。论文还提出 Capability-Aware Harness Router，利用任务公开信息，为当前任务选择更匹配的模块配置，避免所有任务都使用同一套通用 Harness。

结果如何理解

论文称，该方法在 18 个未见基准上平均获得 26 分提升，覆盖包括真实世界机器人在内的场景。这一结果说明，围绕能力而不是任务名称组织训练，可能有助于提高跨任务复用效率。

不过，现有材料也提示，评测流程会针对每个基准与 Harness 组合进行五次准备试验，并将这些轨迹转化为技能后再进行评分。因此，报告中的提升同时包含了 Harness 的跨任务迁移和对目标基准的适应。材料没有提供不进行准备试验时的对照结果，也没有给出这部分过程的 token 或计算成本。后续若能补充这些指标，将更有助于判断框架的零样本迁移能力和实际部署成本。

总体来看，The Trinity 的价值不只在于增加一个自我改进模块，而在于提出了一套闭环：从执行轨迹中发现共享能力，围绕能力生成可验证世界，再让不同 Harness 分支持续演化。对于需要同时处理视觉、工具和实体交互的智能体而言，这种能力中心化的组织方式，可能成为扩展训练环境与模块复用的一条路径。

来源：Hugging Face Daily Papers