InfraRSI：让训练基础设施具备递归自我优化能力

导语

递归自我改进（Recursive Self-Improvement，RSI）过去更多用于算法搜索、代码生成或 GPU 内核优化。但在分布式大模型训练中，性能并不由某一个算子单独决定。启动参数、显存分配、编译器行为、通信调度和训练数值稳定性彼此耦合，任何局部改动都可能让整体运行变慢，甚至直接触发 OOM。

Hugging Face Daily Papers 收录的 InfraRSI，试图把这类复杂优化变成一个可验证、可持续迭代的工程流程。它不是让智能体盲目修改代码，而是用“约束—测量—搜索—复核—提交”的方式管理训练基础设施优化。

核心要点

• 先锁定优化边界。 初始化阶段会规定允许修改的代码范围，并固定工作负载、损失结果和计时等任务契约，避免智能体通过改变训练目标或测量口径获得虚假的加速。
• 建立可靠基线。 “doctor”阶段会分析训练的不同执行阶段，并校准集群噪声，为后续试验区分真实改进与测量抖动。
• 联合搜索配置与代码。 “run”阶段同时探索启动参数和代码补丁，而不是只从一个当前最优配置上贪心迭代。系统还会从多种历史经验配置开始，扩大搜索覆盖面。
• 把失败也当作数据。 运行时间和峰值显存模型会纳入所有试验，包括 OOM。系统由此估算每种设置的显存代价，并寻找能与高显存优化搭配的节省显存方案。
• 加强复核与审计。 候选方案需要相对基线重新验证，报告阶段记录源代码路径、失败试验成本和最终采用的变更，合格结果才会被提交。

意义与影响

InfraRSI 的重要性不只在于“让训练更快”，而在于它将训练基础设施优化从一次性的专家调参，转变为带有记忆、成本意识和安全检查的自动化实验系统。尤其是在 MoE 和多节点训练中，局部最优通常会受到通信瓶颈、显存边界或编译约束的限制。把这些因素放进同一个搜索框架，有助于发现人工经验不容易覆盖的组合方案。

论文摘要显示，InfraRSI 在四类单节点和多节点的 dense、MoE 大模型训练负载上进行了评估，最高加速达到 2.75 倍。需要注意的是，摘要未给出完整实验表格、各负载的具体提升以及平均 MFU 的完整数值，因此这一结果更适合作为方法潜力的信号，而非对所有硬件和训练任务的普遍承诺。

从工程落地看，固定损失和计时不变量、追踪失败试验成本以及保留变更路径，都是自动优化走向生产环境所必需的基础设施。未来，这类系统的关键竞争力可能不只是生成更聪明的补丁，而是能否在不同硬件、编译栈和训练框架之间积累可复用经验，同时持续证明每一次加速没有牺牲正确性。

来源：Hugging Face Daily Papers