CrossSWEが示す、コーディングエージェントの越境開発の難しさ

はじめに

コーディングエージェントは、単一リポジトリを対象とするソフトウェア工学ベンチマークで成果を伸ばしてきました。これまでタスクを難しくする方法として、編集量を増やしたり、実行手順を長くしたり、より広いコンテキストを与えたりする試みが行われています。しかし実際の開発では、1つの機能追加や不具合修正が複数の依存リポジトリに及ぶことがあります。

クライアントだけを更新してサービスのインターフェースを変えない、あるいはライブラリの仕様を変更して利用側を修正しない、といった状況では、各リポジトリの変更が局所的には正しく見えても、システム全体は動きません。CrossSWEは、まさにこの協調作業を測定するために設計されました。

主なポイント

• 幅広い構成：171件の実世界タスクを収録し、165リポジトリ、20の技術分野、13のプログラミング言語をカバーします。
• 協調変更を検証：一部のリポジトリだけを変更しても目的の動作を実現できないかを確認します。
• 成功率はまだ限定的：5つのLLMを評価した結果、最高だったGPT-6.1 SolもPass@1は58.48%でした。
• 不整合が最大の課題：失敗の44.2%がリポジトリ間の不整合で、インターフェースや依存関係の扱いに弱さが見られます。

意義と影響

単一リポジトリのタスクなら、エージェントは1つのコードツリーを検索し、編集して、比較的局所的なテストを実行できます。複数リポジトリの課題では、実装前にシステム全体の構造を把握しなければなりません。どのプロジェクトが契約、データ構造、バージョン条件を共有しているのか、変更をどこまで伝播させるべきか、どの組み合わせで検証するのかを判断する必要があります。

したがって評価の基準も、局所的なパッチの正しさから、システム全体の整合性へ移ります。今後のベンチマークでは、コード生成だけでなく、依存関係の発見、インターフェースの進化、バージョン調整、統合テストまで測る必要があるでしょう。

CrossSWEの意義は、新しいスコアを追加したことだけではありません。現実の開発で頻繁に起きる「境界をまたぐ変更」を、明確に測定可能な課題として提示した点にあります。エージェントの改善には、より大きなコンテキストだけでなく、リポジトリの関係を可視化する仕組みや変更影響分析も求められます。

出典：Hugging Face Daily Papers