EdgeKernelBench：让大模型真正为边缘设备生成高效内核

导语

大语言模型已经能够在服务器GPU上生成具有竞争力的计算内核，但这套经验并不能直接搬到边缘设备。边缘侧硬件种类更多，编译器和运行时彼此割裂，功耗、内存与计算预算也更加紧张。针对这一缺口，论文提出 EdgeKernelBench，系统评估大模型在不同边缘后端上生成正确且高效内核的能力，并进一步设计了 Layered Edge Kernel Agent（LEKA）。

核心要点

• 用统一IR连接异构后端。 EdgeKernelBench将可复用的计算、调度和内存决策放入统一中间表示，再通过编译器接口适配目标后端。论文以TVM作为参考编译框架进行验证。
• 采用分层任务范围。 基准测试不只考察单个算子，还逐步扩展到更大的程序范围，包括紧凑模型图，并覆盖具有代表性的边缘应用领域。这种设计有助于观察模型能力是否能从局部代码迁移到完整工作负载。
• 正确性不等于性能。 单次生成实验中，最佳模型的Correct@1达到64.5%，但Fast@1.0只有25.5%。这意味着能够通过功能验证的内核，未必能在目标设备上带来足够的加速。
• LEKA引入分层优化流程。 LEKA基于分层IR组织优化，让生成过程不再只是一次性输出代码，而是围绕不同层次的计算和调度决策进行改进。在智能体评测子集上，其Fast@1.0达到43.5%，高于直接生成的13.0%和Claude Code的26.1%。两种智能体使用相同的基础模型和优化预算。

意义与影响

这项工作的价值首先在于把“边缘内核生成”从零散案例转化为可比较的评测问题。统一IR降低了不同后端之间的表达差异，分层基准则将功能正确性、局部算子优化和模型级工作负载放在同一评价框架中。结果也提醒开发者，衡量代码生成模型不能只看编译通过率或正确率，还应结合目标硬件上的真实性能。

从方法上看，LEKA说明结构化的优化过程可能比直接让模型反复改代码更有效。对于边缘部署而言，未来系统不仅要生成可执行内核，还要理解调度、内存访问与后端约束之间的关系。EdgeKernelBench提供了统一测量基础，LEKA则展示了分层智能体如何利用这一基础推进优化，但其结论仍应结合具体硬件和编译器环境理解。

来源：Hugging Face Daily Papers