WebAnything, 실제 웹사이트를 에이전트 환경으로 자동 변환

웹 에이전트를 학습시키려면 스크린샷이나 소수의 수작업 데모만으로는 부족합니다. 검색, 클릭, 양식 입력, 여러 페이지를 오가는 작업을 학습하려면 실행 가능하고 다양하며 초기화할 수 있는 환경이 필요합니다. 하지만 기존 방식에는 한계가 있습니다. 사람이 만든 미러는 사이트마다 별도의 구현과 유지보수가 필요하고, 생성 모델로 만든 복제본은 지정된 실제 웹사이트와 달라질 수 있습니다. 캡처·재생 방식 역시 저장된 콘텐츠와 재생 기능이 허용하는 범위 안에서만 상호작용을 지원합니다.

WebAnything의 접근법

WebAnything은 실제 URL을 재사용 가능한 웹 에이전트 환경으로 바꾸는 과정을 자동화합니다. 핵심 구성은 다음과 같습니다.

• Explorer-Builder: 브라우저에서 관찰할 수 있는 페이지 구조, 리소스, 상호작용 이후의 결과를 수집해 환경을 구축합니다.
• 독립 검증기: 동결된 후보 환경을 검사하고 불일치가 발견되면 국소적 수정을 유도하거나 필요한 부분만 원본 사이트에서 다시 수집합니다.

목표는 화면의 외형만 복사하는 것이 아닙니다. 실제 에이전트 학습에 사용하려면 실행 가능한 행동과 그 결과도 재현되어야 합니다. 논문에 따르면 초기 설정과 인증이 끝난 뒤에는 사이트별 수동 구현이나 구축 후 수작업 복구가 필요하지 않습니다.

실험 규모와 결과

연구진은 14개 애플리케이션 영역과 53개 범주에 걸쳐 244개 웹사이트 아티팩트를 구축했습니다. 이 환경들은 12,984개의 실행·승인 태스크를 지원했습니다. 사람의 도움을 받는 WebHarbor와 블라인드 비교를 진행한 결과, 세 가지 충실도 지표의 종합 점수에서 WebAnything이 더 높은 성능을 보였습니다. 12개 항목에서 승리했고 2개 항목은 동점이었으며 패배는 없었습니다.

또한 5,856개의 상호작용 궤적으로 Qwen3.5-9B를 미세 조정했습니다. 논문이 제시한 고정 평가 하니스에서 REAL 성공률은 9.9%포인트, Odysseys-Easy Rubric Avg는 6.25%포인트, Task Avg는 6.32%포인트, WebArena-Verified Overall 성공률은 13.33%포인트 상승했습니다.

의미와 한계

WebAnything의 핵심 의미는 웹 환경 제작을 사이트별 수작업 프로젝트에서 자동 생성·검증·수정이 가능한 파이프라인으로 전환하려는 데 있습니다. 더 다양한 사이트와 태스크를 확보할 수 있다면 웹 에이전트 학습은 소수의 벤치마크에 덜 의존하고, 평가 환경을 만드는 비용도 낮아질 수 있습니다.

다만 이 시스템이 라이브 웹 전체를 완전히 시뮬레이션하는 것은 아닙니다. 재구성 범위는 브라우저에서 관찰 가능한 정보, 수집된 상호작용 결과, 검증기가 불일치를 찾아내는 능력에 좌우됩니다. 로그인, 권한, 외부 데이터의 변화 같은 동적 요소는 환경의 안정성에 영향을 줄 수 있습니다. 따라서 WebAnything은 인터넷 행동의 완전한 복제라기보다, 실제 웹사이트에 근거한 환경을 대규모로 구축하기 위한 실용적인 방법으로 보는 편이 정확합니다.

출처: Hugging Face Daily Papers