让AI组成研究团队：用多学科协作探索线性注意力架构

导语：AI科研的瓶颈不只是模型能力

让AI代理提出研究想法、编写代码并执行实验，已经从概念演示逐步走向更完整的科研流程。但当实验成本高、可尝试的方案有限时，单个代理或同质化团队很容易反复探索相似方向，陷入局部最优。来自加州大学圣塔芭芭拉分校的这项工作，将问题转化为一个“如何组织AI研究团队”的设计问题：不同代理应如何分工、记忆和竞争有限的实验机会？

核心方法：把AI研究者组织起来

论文构建了一支由持久化AI研究者组成的团队。每个代理被赋予不同的科学背景，并在研究过程中保留自己的历史记录；团队成员之间则共享实验依据，让后续探索能够建立在已有结果之上。

这种设计包含三个关键机制：

• 学科背景差异：让代理从不同知识和思维路径提出方案，增加正交探索，降低所有成员同时走向同一局部最优的风险。
• 私有研究历史：代理不只读取公共结果，还能积累自身的判断、尝试与失败经验。研究者因此可以形成更连续的探索轨迹。
• 自适应机会分配：实验预算有限时，不是平均地让所有代理获得相同机会，而是依据已有进展动态选择下一批提出并执行实验的研究者，在探索新方向与利用有效方向之间取得平衡。

团队被用于搜索线性注意力架构。与标准注意力相比，线性注意力通常关注降低序列处理成本，但架构设计空间也更容易出现性能与效率之间的权衡。研究的重点并非让某一个代理一次提出完美方案，而是让多个代理在有限预算中持续迭代。

结果：组织方式会改变发现质量

在1.3B规模的评测中，该团队发现的架构超过了GDN2，并覆盖语言建模、常识推理、合成检索和真实世界检索任务。更值得注意的是，论文进行了组织层面的受控比较：移除任何一个关键组件，发现质量都会明显下降。

没有学科背景差异时，搜索较早出现停滞；取消私有研究历史后，即使团队拥有相同的共享证据，研究者的推进也会变弱；将自适应选择改为统一分配，则无法在同等预算下达到相同效果。这些结果说明，AI科研系统的性能不只取决于代理“有多强”，也取决于团队“如何被组织”。

意义与局限

这项工作为自动化科研提供了一个重要视角：未来的AI研究系统可能更像一个小型实验室，而不是一个孤立的问答模型。角色差异负责扩大搜索范围，私有记忆负责维持长期路线，自适应调度则负责把昂贵的实验资源投入到更有潜力的方向。

不过，现有材料主要展示了线性注意力架构搜索这一场景，尚不能直接证明同样的组织机制适用于所有科学领域。团队如何评估代理提出的假设、如何防止共享错误结论被不断放大，以及在更大规模预算下如何保持调度可靠，仍是值得继续研究的问题。

如果自动化科研要从“生成点子”走向“持续发现”，研究团队的结构、记忆方式和资源分配，或许会成为与基础模型能力同等重要的基础设施。

来源：Hugging Face Daily Papers