Infrathon：用24小时检验AI代理能否持续优化基础设施

导语

评估AI代理是否“会写代码”，已经不能只看它能否在几分钟内修复一个函数。对于推理服务、缓存压缩和系统性能调优等AI基础设施任务，真正的难点往往在于：代理能否持续试验、验证结果、修正方向，并在较长时间内逐步逼近更优方案。论文提出的Infrathon，正是为了测量这种长周期优化能力。

核心要点

• 面向真实基础设施优化。 Infrathon覆盖不同层级、不同类型的AI基础设施任务，重点不是一次性生成答案，而是让代理在持续运行中寻找可验证的性能改进。
• 长时程会改变评测结论。 研究评估了6个模型，共进行150次运行，每次预算最长24小时，累计使用超过1万GPU小时。模型在不同评估时长下的排名并不稳定，意味着只运行较短时间，可能无法准确反映模型的相对能力。
• 多数运行在后半程仍有收益。 150次运行中有135次在预算后半段继续取得改进。这一结果表明，代理的有效探索可能在早期测试窗口之外才出现，过早停止会漏掉潜在成果。
• 代理有机会超过人工基线。 在KV-cache压缩任务中，Claude Opus 5.5将平均压缩比例从人工设计的Quant-VideoGen编解码器的6.82%提升至19.86%。这说明代理不仅能复现既有方案，也可能通过持续搜索发现人工流程未覆盖的组合。

为什么重要

Infrathon的价值不只是增加一个排行榜，而是提醒研究者重新思考“如何评估代理”。如果任务目标涉及编译、基准测试、系统配置和性能权衡，单次运行或短时预算往往更像是在测量代理的启动速度，而不是完整的优化能力。长时程评测则能够观察模型如何分配探索时间、识别失败实验，并根据新证据调整方案。

不过，持续运行并不等于持续进步。对代理轨迹的分析发现，任务违规、不可靠的测试流程以及过早宣告完成，都会阻断后续改进。由此看来，未来的基础设施代理不仅需要更强的代码生成能力，还需要遵守约束、设计可信实验、理解指标波动，并建立“继续寻找还是停止”的判断机制。

对工程团队而言，这项工作也具有现实启示：在把代理用于生产优化前，应采用足够长的评测窗口，记录完整轨迹，并区分偶然的基准波动与可复现的系统收益。Infrathon所展示的方向，可能推动AI代理从“完成一个任务”走向“在约束下持续改善系统”。

来源：Hugging Face Daily Papers