EvoWeb、進化するWebアプリでコーディングエージェントを評価

導入

Webアプリを一つの仕様書から生成する評価は、エージェントの実装能力を測るうえで有用です。しかし、実際の製品開発は一度で完了しません。ユーザーから追加要望が届くたびに、既存コードを変更し、以前の機能を壊さず、新しい処理を組み込む必要があります。EvoWebは、この継続的な開発過程を評価対象にします。

ベンチマークの特徴

• 累積型のリクエスト。 32個のWebアプリに対して、合計320件のリクエストを用意しています。後続の要求は前の実装を前提とするため、独立した小問ではなく、連続した開発作業として評価されます。
• 機能依存グラフ。 各リクエストは機能間の依存関係に基づいて構成されます。後の機能がどれだけ多く、または深く過去の機能に依存するかを分析できます。
• ライブブラウザでの検証。 マルチモーダルWebエージェントが各中間版を実際のブラウザで操作します。新機能が動くかだけでなく、過去の機能との統合や回帰も確認します。
• 開発軌跡の評価。 特定の一時点で合否を決めるのではなく、ユーザーが許容できる複数のしきい値を通じて、開発全体の信頼性を統合的に捉えます。

実験から見える課題

オープンソースとクローズドソースの最先端モデルを使った実験では、モデル間に明確な性能差が確認されました。一方で、共通する最大の課題は、単独の新機能を作ることよりも、それを過去の実装と正しく結び付けることです。現在のコードベースを理解し、変更範囲を判断し、既存の動作を守るという複数の作業が同時に求められます。

さらに、依存関係が深い、または数多く存在する後続リクエストほど、正確に解決されにくくなります。リクエストが進むにつれて実行時エラーも増加します。これは、初期版が動作していても、変更を重ねる過程で不整合や障害が蓄積し得ることを示しています。

意義と影響

EvoWebが投げかける問いは、「エージェントはWebアプリを作れるか」から「アプリを拡張し続けても動作を保てるか」へと変わります。これは、要件が段階的に追加される実際の開発環境に近い問いです。

モデル開発者にとっては、計画、コンテキスト管理、回帰テスト、実行時エラーからの復旧といった弱点を切り分ける材料になります。利用者にとっても、一度の生成結果を信頼するだけでなく、各変更を継続的に検証するワークフローの重要性が明確になります。長期的なコーディングエージェントの実用性を測るうえで、累積型の評価は今後さらに重要になるでしょう。

出典：Hugging Face Daily Papers