CUA-SWE、画面を見て修正を検証するソフトウェア工学エージェントを評価

概要

ソフトウェア開発は、コードを書き換えるだけでは完結しません。実際の開発者は、アプリケーションを起動し、画面を操作し、表示された結果を観察し、その情報をもとに原因を推測して修正し、もう一度実行して結果を確かめます。従来のコーディングエージェント評価はソースコードや端末操作に重点を置き、コンピュータ操作エージェントの研究は画面上の行動に重点を置くことが多くありました。CUA-SWEは、この二つを同じタスク内で扱います。

主なポイント

• 開発工程を統合。 エージェントはコードや設定を変更し、コマンドを実行し、動作中のソフトウェアを操作し、スクリーンショットなどの視覚情報を確認します。
• 画面だけに存在する情報。 一部の仕様や操作上の情報は、実行中のアプリケーションの画面からしか得られません。リポジトリを読むだけではタスクを完了できない設計です。
• 診断と再検証を要求。 画面上の操作失敗を担当するコードと結び付けて修正し、修正後に再びアプリケーションを使用して効果を確かめます。
• 実行可能な正解判定。 すべてのタスクに決定的な専用テストが用意され、要求された機能だけでなく、維持すべき既存動作も確認します。
• 四つのソフトウェア工学領域。 複数領域と異なる情報条件を通して、エージェントの開発行動を分析します。

意義と影響

CUA-SWEの重要性は、エージェントのソフトウェア工学能力をコード生成だけで測らない点にあります。スクリーンショットは単なる成果物の画像ではなく、仕様、障害の証拠、あるいは修正成功の手掛かりになり得ます。実用的なエージェントには、ソースコード、コマンドライン、GUIの間を移動しながら、タスクの目的を維持する能力が必要です。

また、操作の過程と最終的な正しさを、実行可能なテストで結び付けられる点も評価上の利点です。クリック列や説明文だけで成功を判断するのではなく、生成されたソフトウェアが要求を満たしたかを確認できます。ただし、提供された素材にはモデル別の順位、タスク数、具体的な性能値は示されていません。そのため、現段階では特定のエージェントの優位性を示す結果というより、新しい評価基盤と研究課題として捉えるのが適切です。

画面操作や実行時状態が重要なアプリケーションが増える中、コードを書くことに加えて、ソフトウェアを使い、観察し、修正を検証するエージェントの評価は重要になります。CUA-SWEは、その統合を測るための実行可能な出発点を提示しています。

出典：Hugging Face Daily Papers