EvoWeb, 진화하는 웹 앱에서 코딩 에이전트를 평가하다

들어가며

웹 애플리케이션을 하나의 명세에 맞춰 생성하는 작업은 코딩 에이전트의 기본 능력을 확인하는 데 유용합니다. 하지만 실제 제품 개발은 한 번의 생성으로 끝나지 않습니다. 사용자는 계속해서 새로운 요구를 제시하고, 개발자는 기존 기능을 유지하면서 코드를 수정하고 기능을 확장해야 합니다. EvoWeb는 바로 이 지속적인 변화 과정을 평가 대상으로 삼습니다.

EvoWeb의 핵심 구성

• 누적 요청 방식. 32개 웹 애플리케이션에 걸쳐 총 320개의 요청이 제공됩니다. 뒤의 요청은 앞선 구현을 전제로 하므로, 각각 독립된 문제를 푸는 것이 아니라 하나의 코드베이스를 계속 발전시키는 상황을 재현합니다.
• 기능 의존성 그래프. 요청은 기능 간 의존 관계를 바탕으로 구성됩니다. 이후 기능이 얼마나 많은 이전 기능에 의존하는지, 또 의존 관계가 얼마나 깊은지를 기준으로 성능을 살펴볼 수 있습니다.
• 라이브 브라우저 검증. 멀티모달 웹 에이전트가 각 단계의 애플리케이션을 실제 브라우저에서 테스트합니다. 새 기능의 작동 여부뿐 아니라 이전 기능과의 통합, 기존 동작의 회귀도 함께 확인합니다.
• 개발 궤적 평가. 하나의 고정된 종료 시점만 평가하지 않고, 사용자가 어느 정도의 오류를 허용하는지에 대한 여러 임계값을 기준으로 전체 개발 과정의 성능을 통합합니다.

실험이 보여준 한계

오픈소스와 폐쇄형 최신 모델을 대상으로 한 실험에서는 모델별 성능 차이가 뚜렷하게 나타났습니다. 그러나 여러 모델에 공통된 가장 큰 난관은 새로운 기능을 만드는 일 자체보다, 그 기능을 이전 구현과 제대로 결합하는 일이었습니다. 에이전트는 현재 코드의 상태를 이해하고, 필요한 부분만 수정하며, 이미 작동하던 동작을 보존해야 합니다.

후속 요청이 더 많은 기능이나 더 깊은 의존성을 가질수록 해결 정확도는 낮아졌습니다. 요청이 진행될수록 런타임 오류도 증가했습니다. 이는 초기 버전이 정상적으로 보이더라도 변경이 반복되면서 호환성 문제와 결함이 누적될 수 있음을 뜻합니다. 한 번의 생성 결과만 확인하는 평가로는 이런 문제를 포착하기 어렵습니다.

의미와 영향

EvoWeb는 평가 질문을 “에이전트가 웹 앱을 만들 수 있는가”에서 “웹 앱을 계속 확장하면서도 정상 상태를 유지할 수 있는가”로 바꿉니다. 이 차이는 요구사항이 단계적으로 추가되는 실제 소프트웨어 개발 환경에서 특히 중요합니다.

모델 개발자는 EvoWeb를 통해 계획 수립, 컨텍스트 관리, 회귀 테스트, 런타임 오류 복구의 취약점을 더 구체적으로 분석할 수 있습니다. 사용자는 한 번 생성된 결과를 그대로 신뢰하기보다, 매 변경마다 결과를 검증하는 작업 흐름이 필요하다는 점을 확인할 수 있습니다. 코딩 에이전트가 더 긴 개발 업무를 맡게 될수록, 독립 과제 성능뿐 아니라 누적 변경 속에서의 일관성과 안정성을 측정하는 평가가 중요해질 것입니다.

출처: Hugging Face Daily Papers