WebFovea: 모델은 맞는데 클릭이 틀리는 이유

들어가며

비전 기반 웹 에이전트는 화면을 이해하고 다음 행동을 고르는 것만으로는 충분하지 않습니다. 모델의 결정을 브라우저 동작으로 정확히 변환하고, 동작이 실제로 적용됐는지 확인한 뒤, 변경된 페이지 상태를 다시 모델에 올바르게 전달해야 합니다. WebFovea는 모델과 실제 웹사이트 사이에서 발생하는 이 왕복 과정에 주목했습니다.

WebFovea는 WebRetriever Challenge 2026에서 2위를 기록했으며 최종 점수는 100점 만점에 57.0점이었습니다. 이 대회의 Protocol III는 진입 URL에서 시작해 사이트가 제공하는 자체 인터페이스를 사용하고, 검증 가능한 답을 제출하도록 요구합니다. 연구진은 네 번의 제출에서 같은 모델을 사용했습니다. 따라서 31.0에서 57.0으로의 상승은 주로 하네스 변경의 결과이며, 라이브 사이트 실행에서 발생하는 변동 가능성은 남아 있습니다.

핵심 관찰

• 파싱 오류가 올바른 판단을 망친다: 출력 파서가 특수 토큰을 제대로 처리하지 못하면 모델이 생성한 채팅 템플릿 토큰이 일반 텍스트로 검색창에 입력될 수 있습니다. 연구진은 이런 문제가 전체 에피소드의 4.9%에서 나타났다고 보고했습니다.
• 좌표계가 일치해야 한다: 좌표 공간의 불일치로 모든 클릭이 의도한 위치의 4분의 3 지점에 도달한 사례가 있었습니다. 스크린샷과 좌표에 의존하는 에이전트에서는 작은 변환 오류도 연속 작업을 무너뜨릴 수 있습니다.
• 웹 컨트롤은 조용히 실패할 수 있다: 네이티브 드롭다운, iframe 내부 요소, 텍스트 입력창은 동일한 클릭이나 키보드 인터페이스로 항상 조작되지 않습니다. 실패를 감지하지 못하면 에이전트는 실제로 존재하지 않는 페이지 상태를 전제로 다음 행동을 선택합니다.
• 피드백은 실제 결과를 반영해야 한다: 한 사례에서는 iframe 내부 클릭이 성공했지만 하네스가 변화가 없다고 보고했습니다. 모델은 그 결과 유효한 경로를 포기했습니다.
• 관찰은 정적 스크린샷 이상이어야 한다: 어떤 값은 마우스를 올렸을 때만 나타납니다. 순간적인 상태를 포착하지 못하는 관찰 계층은 작업에 필요한 정보를 모델에게 숨길 수 있습니다.

WebFovea는 이 네 단계를 각각 보강하고, 에이전트가 규칙과 예산을 벗어나지 않도록 가드레일도 추가했습니다. 네 단계라는 진단 관점은 특정 모델에 종속되지 않지만, 개별 해결책은 모델이나 브라우저 환경에 따라 달라질 수 있습니다.

의미와 영향

이 연구는 웹 에이전트의 신뢰성을 단순한 추론 능력 문제가 아닌 시스템 문제로 바라보게 합니다. 실제 웹사이트에는 서로 다른 동작을 하는 컨트롤, 변하는 레이아웃, 임베디드 콘텐츠가 존재합니다. 중간 계층에서 오류가 발생하면 모델이 올바른 결정을 내렸더라도 추론 실패처럼 보일 수 있습니다.

연구자에게는 오류 원인을 더 정밀하게 분류하고 모델 능력과 도구 체인의 영향을 나눠 평가할 수 있는 틀을 제공합니다. 개발자에게는 좌표 보정, 모델 출력 정제, 동작 실패 감지, iframe 처리, 상태 전환 검증이 중요한 실무 과제로 제시됩니다. 더 큰 멀티모달 모델로 교체하는 것만으로는 충분하지 않습니다. 신뢰할 수 있는 웹 에이전트는 올바른 의도를 세우는 데서 끝나지 않고, 브라우저와의 모든 왕복 과정에서 그 의도를 보존해야 합니다.

출처: Hugging Face Daily Papers