WebHarbor, GUI 에이전트를 위한 재현 가능한 웹 환경 구축

들어가며

웹 GUI 에이전트가 실제 사용자처럼 작동하려면 화면의 글자를 읽는 것만으로는 부족합니다. 페이지를 이동하고, 버튼을 누르고, 정보를 입력하고, 로그인한 뒤 예약이나 거래처럼 사이트의 상태를 바꾸는 작업까지 수행해야 합니다. 하지만 실제 웹사이트를 평가에 직접 사용하면 페이지가 계속 바뀌고, 봇 탐지에 막히며, 인증이 필요한 기능을 안정적으로 재현하기 어렵습니다. 합성 웹사이트는 통제가 쉽지만 실제 서비스의 시각적 세부 사항과 기능적 깊이가 부족할 수 있습니다.

WebHarbor는 이 간극을 줄이기 위한 환경 모음입니다. 실제 웹 서비스의 인터페이스와 콘텐츠, 작업 흐름을 실행 가능한 Docker 환경으로 재구성해, 연구자가 통제된 조건에서 현실적인 상호작용을 반복하도록 합니다.

핵심 내용

• 153개의 실행 가능한 환경: 각 환경은 웹사이트의 시각적 인터페이스와 콘텐츠, 기능적 흐름을 재현합니다. 보고된 평균은 환경당 37.3개 페이지와 약 1319.9개의 이미지로, 외형과 콘텐츠의 범위도 고려했습니다.
• 사람과 에이전트의 공동 제작: 새로운 작업이 추가되면 코딩 에이전트가 필요한 기능을 구현하고, 사람 검토자가 시각적 충실도, 기능의 정확성, 작업의 타당성을 점검합니다. 제공된 자료에 따르면 26개 소속 기관의 57명이 5개월 동안 개발에 참여했습니다.
• 복잡한 업무 흐름 지원: 3518개 작업은 단순한 정보 찾기를 넘어 계정 관리, 예약, 거래 등 다단계 및 로그인 이후 작업을 포함합니다. 검증기는 최종 답변뿐 아니라 사이트 상태가 올바르게 바뀌었는지도 확인합니다. 빠른 초기화 기능은 강화학습에서 반복적인 시도를 가능하게 합니다.
• 강화학습 결과: WebHarbor에서만 강화학습한 4B급 에이전트는 WebVoyager와 Online-Mind2Web 평균 75.8을 기록했습니다. 이는 비교 대상으로 제시된 라이브 웹 학습 기반 OpenWebRL-4B와 공유된 지도 미세조정 체크포인트보다 높았습니다. 또한 WebVoyager의 15개 웹사이트는 학습에서 제외돼 미지 사이트 일반화도 일부 평가했습니다.

의미와 영향

WebHarbor의 핵심 기여는 새로운 작업 목록을 제공하는 데 그치지 않고, GUI 에이전트 연구의 실행 환경 자체를 배포·초기화·검증 가능한 인프라로 만든 데 있습니다. 버전이 고정된 웹사이트는 실제 서비스의 콘텐츠 변경과 접근 제한이 만드는 평가 잡음을 줄일 수 있습니다. 상태 변화를 함께 검사하면 에이전트가 단순히 목표 페이지에 도달했는지, 아니면 실제 작업을 완료했는지도 구분할 수 있습니다. 이는 로그인, 예약, 거래처럼 결과 상태가 중요한 업무에 특히 유용합니다.

물론 Docker로 재구성한 환경이 실제 인터넷의 모든 변동성과 예외를 대신할 수는 없습니다. 실제 사이트로 기술이 얼마나 잘 이전되는지, 환경에 포함되지 않은 사이트에서도 성능이 유지되는지는 추가 검증이 필요합니다. 그럼에도 코드, 작업, 모델, 컨테이너 이미지가 공개되면서 연구자는 실험을 재현하고 환경을 확장하기 쉬워졌습니다. 이 프로젝트는 더 나은 GUI 에이전트를 만들려면 모델의 추론 능력뿐 아니라, 행동을 학습하고 검증하며 빠르게 되돌릴 수 있는 안정적인 상호작용 세계도 필요하다는 점을 보여줍니다.

출처: Hugging Face Daily Papers