PerfReasoning、LLMはハードウェア性能を本当に推論できるのか

導入

ハードウェア設計やソフトウェア最適化では、性能を事前に見積もるモデルが重要になる。単に演算量を数えるだけでは不十分で、データの再利用、バッファやメモリへの格納、ハードウェアへのマッピング、ストレージ階層間のデータ移動まで一貫して考える必要がある。PerfReasoningは、大規模言語モデルがこうした関係を推論できるか、さらに推論を実用的な分析モデルへ変換できるかを調べる。

主なポイント

• 二つの能力を分離して評価。 モデルは、異なるマッピングの比較、オフチップトラフィックの予測、バッファ容量の見積もりといった質問に答える。同時に、分析用の性能モデルコードも生成する。後者では、説明の自然さだけでなく、計算と実装の整合性が問われる。
• 直接推論とモデル構築に差。 推論型の質問では、最も強いクローズドモデルが90%を超え、最良のオープンウェイトモデルは82.4%だった。しかし性能モデルの構築に移ると、GPT-5.6 Solを除くすべてのモデル構成で平均合格率が15%未満となり、実行ごとのばらつきも大きい。
• タスク特化型RLには効果。 4Bモデルを対象にしたタスク固有の強化学習は、マッピング推論の精度を15.7ポイント引き上げた。一般的な流暢さより、対象問題に合わせた学習が重要である可能性を示す。
• 自己修正だけでは安定しない。 外部からの検証やフィードバックなしに、モデルへ複数回の自己改訂を求めても、結果は一貫して改善しなかった。文章の誤りを見つけることと、式や境界条件を検証することは別の能力だからだ。

意義と影響

PerfReasoningが示すのは、通常のベンチマークでは見えにくい「説明」と「モデル化」の差である。モデルがアーキテクチャについて説得力のある説明をしても、生成したモデルが実行できるとは限らない。また、異なるマッピングや境界条件でも正しいとは限らない。性能分析では、演算、再利用、容量、データ移動の仮定を同時に維持する必要がある。

チップ設計やコンパイラ最適化において、LLMは設計候補の整理、ボトルネックの説明、分析案の作成には役立つ可能性がある。一方で、信頼できるモデルを自動生成するには、実行テスト、数値的な検査、形式的な検証、外部評価からのフィードバックが必要だ。今後ベンチマークが公開されれば、説得力のある回答ではなく、再現可能な性能分析能力を比較しやすくなる。

出典：arXiv