AIエージェントが算子を自律生成、FlashMLAを9.8％上回る

22.5時間にわたる公開実験は、AIエージェントがコード作成を補助するだけでなく、低レイヤーの性能最適化そのものを担える可能性を示した。

量子位の報道によると、面壁智能の算子生成システムForgeKernelは、NVIDIA B200上でDeepSeekのFlashMLA Prefill算子を最適化した。エージェントに与えられたのは、算子の数学的定義と対象ハードウェアの制約であり、DeepSeekの元ソースコードは参照していない。人間のエンジニアが実装コードを直接書くこともなく、最終版は472マイクロ秒で動作した。比較対象の518マイクロ秒に対して9.8％の高速化となる。

実験で何が起きたのか

FlashMLAはアテンション計算の中核となる算子であり、ここでの改善はモデル推論の効率に影響する。ForgeKernelは一度コードを生成して終了するのではなく、生成、コンパイル、正確性検証、性能測定を繰り返した。

• 最初に正しく動作した版の実行時間は1834マイクロ秒だった。
• 4時間以内に593マイクロ秒まで短縮した。
• まず自分の前世代版を超え、その後FlashMLAを上回った。
• 合計42回の反復を行い、32個の版を残し、B200一台で22 GPU時間を使用した。

報道では、後半にQの読み出しとKVデータ転送がメモリ帯域を奪い合っていることをエージェントが発見し、要求の発行ペースを調整してさらに2.4％短縮したとされる。こうした判断は従来、対象GPUとメモリシステムを熟知した性能エンジニアの仕事だった。

単なるコード生成ではない

ForgeKernelの特徴は、言語モデルにCUDAコードを書かせるだけではない。アーキテクチャ探索と実装を分け、問題を複数のマイルストーンに分解する。実測で確認したハードウェア上の知見は知識ベースに保存し、現在の最良版を次の世代の比較対象として自己改善を続ける。

これは、目標だけを与える最適化方式の弱点にも対応する。モデルは細部の調整には強い一方、初期段階で全体構造を固定し、望ましくない方針を微調整し続けることがある。段階的な目標と自己比較によって、別の設計を試す余地を広げる狙いだ。

素材が引用する論文では、B200上の10個の算子のうち8個で、目標駆動方式が人間の保守するオープンソースライブラリを上回ったと報告されている。また、29項目の比較では、ForgeKernelが24項目で専門家実装と同等以上だったという。これらはプロジェクト側の発表と報道に基づく数値であり、詳細な条件や再現性は今後の検証が必要だ。

異なるチップへの展開

ForgeKernelは、昇騰950DT、950PR、A3の3種類のハードウェアベンチマークでも首位を獲得したと報じられている。CUDAと昇騰では実装やツールチェーンが異なるが、高レベルの最適化手順は共通化し、各環境のプロファイリングツールを使って特性を学習する。

この方式が安定して移植できれば、新しいチップが登場してから実用的な算子ライブラリが整うまでの期間を短縮できる可能性がある。コード生成、コンパイル、テストの自動化が進めば、特定モデルやチップ向けの専用算子を作るコストも下がる。

ただし、人間の専門家が不要になるわけではない。目標設定、評価環境の構築、正確性の確認、成果の選別は依然として人間の役割だ。変わるのは、コードを一行ずつ磨く仕事から、AIが試行錯誤できる条件を設計する仕事への重心である。

オープンソース化された仕組みをコミュニティが再現できれば、算子最適化は再帰的自己進化の早期事例になるかもしれない。AIはソフトウェアを使うだけでなく、AI向けのより高速なソフトウェア作りにも参加し始めている。

出典：量子位