SWE-at-Scale：実際のバグ修正から拡張可能なコーディング評価課題を生成

背景

コーディングエージェントの能力が高まるほど、その性能を測るソフトウェア工学タスクには幅と信頼性が求められる。実際のプロジェクトで報告された issue は現実性に優れる一方、発生頻度には限界がある。また、評価用に人手で整理するには大きなコストがかかる。大規模モデルにプロンプトで架空のバグを作らせる既存の方法も、実際の故障がどのように生じるかという複雑な仕組みを十分に捉えられない場合がある。

上海交通大学のチームが提案した SWE-at-Scale は、こうした問題に対して修正履歴を逆向きに利用する。モデルに最初からバグを想像させるのではなく、実際のバグがどのように直されたかを学習し、その知識から新しい不具合を生成する。

修正をバグ生成へ反転

過去の修正は、単なるコード差分ではない。そこには、欠陥がどのように形成されたか、どの条件で問題が表面化したか、開発者がどの変更で解決したかについての手がかりが含まれる。SWE-at-Scale の中心的な考え方は、修正方法を学ぶための教師信号を反転すれば、現実的な欠陥をコードへ導入するための知識として使えるというものだ。

処理の流れは次のように整理できる。

• 実際のソフトウェアから過去の修正履歴を収集する
• バグの形成と修正に関係するパターンを抽出する
• 修正操作を反転し、バグ注入の教師信号に変換する
• そのパターンを新しいコード文脈へ移す
• 生成結果を実行・検証し、SWEタスクとして構成する
• 同一のコードから複数の不具合タイプを繰り返し生成する

この設計により、単に構文上の誤りを作るのではなく、故障の因果関係や開発上の文脈をできるだけ保った課題を目指す。

一つのファイルから多様な課題

論文が強調する特徴は、同じコード文脈から異なる種類のバグを生成できる点だ。実験では、1ファイルあたりの生成を繰り返しても多様性が拡大し、200回の生成まで堅調に増加したと報告されている。これは評価において重要である。エージェントが一つの定型的な不具合だけを見抜くのではなく、異なる発火条件、症状、修正経路に対応できるかを試せるからだ。

要約によれば、SWE-at-Scale は既存の合成ベースラインより多様で現実的なタスクを生成し、最先端のコーディングエージェントにより大きな課題を与えた。提供された素材には具体的なベンチマーク名、スコア、タスク数はないため、ここでは論文の総合的な実験結果として扱うべきだ。

意義と今後の課題

この手法の意義は、限られた実際の修正履歴を、再利用可能なタスク生成の教師データへ変えることにある。コーディングエージェントのストレステストを拡張できるほか、評価ベンチマークの構築において、プロンプトだけに依存しない選択肢を提供する。

一方、生成課題の品質は、元となる修正履歴の質、注入された不具合の妥当性、実行と検証の信頼性に左右される。今後は、難易度の制御、類似パターンの重複回避、エージェントが合成過程の痕跡ではなく本質的な問題を解いているかの確認が重要になる。

SWE-at-Scale は、バグを直す知識と、検証可能なバグを作る仕組みを結び付け、コーディングエージェント評価を大規模化するための現実的な方向性を示している。

出典：Hugging Face Daily Papers