SwarmEvolve：让数百个智能体在潜空间里协同进化

导语

让大语言模型参与数学发现和程序优化，常见做法是不断生成候选代码或解释，再根据评分筛选、变异和组合。问题在于，每一轮都要为多个候选方案生成较长文本，既消耗推理资源，也容易让搜索过程在相似思路之间反复打转。

论文提出的 SwarmEvolve 试图改变这一范式：它不要求每个智能体把完整思路写成文本，而是让大量小型智能体直接在模型的潜在表示中工作，并通过 KV cache 传递中间信息。

核心机制

• 多群体并行搜索：每轮运行数百个成本较低的智能体，并划分为多个 swarm。不同群体从不同角度探索问题，目标是在扩大搜索规模的同时保留思路差异。
• 潜空间推理：智能体的推理过程不必全部解码为自然语言，因此可以减少文本生成和重复上下文处理带来的开销。这里的“更快”主要来自计算路径的改变，而不是简单地把同一个模型调用得更频繁。
• KV cache 通信：智能体之间不通过长篇文字交换想法，而是传递注意力机制使用的 KV cache。汇总阶段的 summarizer agent 可以接收一个 swarm 成员的组合缓存，从中形成新的候选方向。
• 隐藏状态新颖性筛选：系统直接比较智能体隐藏状态向量之间的距离，保留差异更明显的想法。这样做的意图，是在进化搜索中抑制候选方案过度同质化。

从流程上看，SwarmEvolve 把“提出方案、保持多样性、组合方案”都部分转移到了潜空间中。程序候选仍然需要通过任务评分进行筛选，但中间的探索与交流不再完全依赖可读文本。

结果与边界

根据论文摘要，SwarmEvolve 在 21 个数学发现和科学计算问题上取得了最高的平均得分，并在中位数 3 至 8 分钟内达到其他先进框架通常需要约 60 分钟才能达到的最佳成绩。使用 Qwen3 8B 时，系统在若干问题上还超过了 AlphaEvolve 最初借助前沿模型找到的方案。作者也展示了 Qwen3 14B 和 32B 等规模的实验。

这些结果说明，小模型组成的并行群体可能通过更大的探索宽度，弥补单个智能体能力上的不足。不过，速度优势是否能稳定转化为更低总成本，还取决于硬件并行能力、KV cache 的存储与传输开销，以及任务评分器本身的成本。隐藏状态距离也只是新颖性的代理指标，距离较远不一定代表程序思想在算法意义上真正不同。

意义与影响

SwarmEvolve 的价值不只是“增加智能体数量”，而是尝试把进化搜索的通信协议从文本迁移到模型内部表示。这为程序生成、科学计算和自动化发现提供了一个新的系统设计方向：文本可以保留给最终解释和人工检查，潜空间则负责高频、低延迟的候选交换。

同时，这种方法也提出了新的可解释性与可复现性问题。研究者需要进一步说明潜空间交叉如何影响最终程序、群体是否会长期收敛到相似区域，以及不同模型之间能否共享这类缓存。现阶段更稳妥的判断是，SwarmEvolve 展示了潜空间智能体群体的潜力，但它是否能在更广泛、更开放的科学问题上取代文本驱动的搜索，还需要更多基准和成本分析。

来源：Hugging Face Daily Papers