DuoDiscover、迅速な評価器で自律発見のボトルネックを突破

導入

自律的なソフトウェア最適化では、エージェントがコード変更を作るまでにかかる時間と、その変更の効果を確かめる時間に大きな差があります。変更自体は数秒で済んでも、完全なベンチマーク、サービングのトレース、ハードウェア上の実行には長い時間が必要になる場合があります。評価が数時間単位になると、探索で試せる候補数は限られ、エージェントを増やすだけでは問題を解決できません。

DuoDiscoverは、この評価コストを探索の対象に含めます。エージェントにより良い実装だけを探させるのではなく、現在の目的に合った、より速い進捗の測り方も同時に見つけさせる設計です。

仕組みの要点

• 最適化対象と評価器を同時に発見：各エージェントは、自分が追う最適化目標と、それに特化した代理評価器を作ります。論文ではこの評価器を「yardstick」と呼びます。エージェントは毎回高コストな真の評価を実行する代わりに、まずyardstickで候補を素早く比較し、反復改善します。
• 真の目的との整合性を再確認：代理評価器は不完全であり、探索が代理指標と本来の目的の差を利用する可能性があります。そこでDuoDiscoverは、候補の順位を真の評価で定期的に再検証します。順位がずれ始めたyardstickは、信頼できる根拠として使わないよう無効化されます。
• ボトムアップ型のエージェント群：全問題を中央のコントローラーが分解する構成ではありません。軽量なオーケストレーターがエージェントの起動・終了や簡単な情報共有を担い、確認済みの成果を新しいエージェントに渡します。複数の方向を並行して探索しつつ、検証済みの知見を再利用できます。

実験結果と限界

評価は、二つのリポジトリレベルのベンチマークと、数百のカーネルを含む四つのGPU・TPUカーネルスイートで行われました。報告によれば、SWE-fficiencyでは人間の専門家が得た平均スピードアップの2倍を達成しました。SOL-Execでは235カーネル中121件で1位となり、212件がトップ3に入りました。素材では、NVIDIA関連のSOL-Execベンチマークでの首位実績や、FreeTokenでプルリクエストがマージされた事例も示されています。

この結果が示すのは、探索の規模が単純なエージェント数だけで決まらないという点です。候補ごとに重い評価を待つ必要があるなら、大規模な群れを用意しても待ち行列が増えるだけです。対象に合わせた代理評価器があれば、同じ時間内により多くの有効な反復を行えます。

一方、yardstickはあくまで近似です。真の評価は校正と最終確認のために残ります。DuoDiscoverは評価コストをなくすのではなく、高価な評価を要所に集中させ、近似指標が本来の目的から離れたときに検出する仕組みを加えています。自律探索が複雑な実環境に広がるほど、校正頻度や代理評価器の失敗検出が重要になるでしょう。

意義

DuoDiscoverは、評価器そのものを自律発見のループへ組み込みました。今後のコード最適化、推論サービス、チップ設計のシステムは、候補解だけでなく、問題に適した測定方法も自ら構築する必要があるかもしれません。近似指標による偏りをどう抑えるかは、今後も残る重要な課題です。

出典：Hugging Face Daily Papers