返回文章列表

CompoundingKernel:让 GPU 内核搜索越跑越快

阅读约 2 分钟

自动生成 GPU 内核,难点不仅在于写出能运行的代码,还要在正确性不退步的前提下持续寻找更快的实现。论文介绍的 CompoundingKernel,把这项工作组织成一套可累积的搜索流程:代理从算子定义出发尝试实现,成功方案被保存并成为后续探索的起点。

核心做法:把每次成功变成下一轮的起点

系统给代理的是每道题的 PyTorch 定义,不提供参考内核或官方成绩。每道题都有一个保存在模型之外的档案,记录所有通过正确性检查的内核及其来源关系。语言模型控制器读取档案,为后续尝试挑选一个已有方案作为父代,或提出新的设计方向,再把不同方向分配给并行运行的子代理。正确与否由模型外部的检查机制判定,避免让生成者自行认定结果。

论文报告称,截至 2026 年 11 月 11 日,CompoundingKernel 在 NVIDIA B200 上登上 SOL-ExecBench 的 L1、L2 与 Quantization 三个公开榜单。235 道题均有经网站验证的正确内核;其中 209 道公开榜单题目相较基准参考实现快 4.40 倍。团队还称,系统自 10 月 27 日起曾保持 L1 第一,期间在 11 月 7 日短暂失去领先。

搜索效率比代理数量更关键

在相同运行时间下,论文将该方法与一种编码实现的 UCB 风格搜索树比较:在 38 道题中的 35 道上,CompoundingKernel 找到的正确尝试更多,数量达到对照方法的 2.4 倍。系统曾同时运行超过千个代理;一次针对热重启的修复,则让评测速率提升 3.6 倍。作者据此指出,扩大搜索的关键限制是能否及时取得可靠测量,而不是单纯堆叠更多代理。

这项工作的意义,在于把内核优化从一次性的代码生成,推进为有记录、可回溯的迭代搜索。档案让有效方案能够复用,外部校验则为搜索结果提供明确筛选标准;评测吞吐量也因此成为系统设计的一部分。不过,榜单成绩针对特定基准、硬件和时间节点,不能直接等同于所有 GPU 工作负载上的普遍优势。后续仍需观察其在更多任务、硬件和独立复现中的表现。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章