CLIFT, 웹 에이전트의 자기 검증을 학습과 테스트 시점 선택에 활용

배경

웹 에이전트는 검색, 양식 입력, 여러 페이지를 오가는 브라우저 작업을 수행할 수 있을 정도로 발전했다. 그러나 강화학습으로 이런 에이전트를 훈련할 때는 여전히 작업 전체의 성공 여부를 나타내는 이진 신호에 의존하는 경우가 많다. 이 신호는 얻기 쉽지만 긴 행동 과정에서 어떤 단계가 도움이 되었는지, 어느 지점에서 실패했는지를 알려주기에는 너무 거칠다. 강력한 언어 모델을 매 단계 외부 평가자로 호출하면 더 촘촘한 감독을 얻을 수 있지만 비용이 크고, 실제 배포 환경에서 해당 모델을 이용할 수 있다는 보장도 없다.

CLIFT（Conformal Self-Verification for Web Agent Training and Test-Time Scaling）는 외부 평가 정보를 반복적으로 호출하는 대신 재사용 가능한 검증 뱅크로 축적하자는 접근이다. 에이전트는 자신이 수행한 브라우저 궤적에 대해 자연어 검증 질문에 답하고, 보정 절차는 이 자기 평가 신호 중 신뢰할 수 있는 부분을 골라 학습과 테스트 시점의 의사결정에 활용한다.

핵심 작동 방식

• 자기 검증 신호 생성. 에이전트는 행동만 선택하지 않고 방문한 URL, 페이지 상태, 작업 진행 상황에 관한 질문에도 답한다. 최종 성공 라벨 하나보다 중간 상태에 대한 정보를 더 많이 제공할 수 있다.
• URL 조건부 인증. Compositional Conformal Certifier는 URL 범위를 고려한 증거가 학습 단계의 판정 결과와 일치할 때만 질문 신호를 유지한다. 또한 극성을 반영한 lift를 이용해 긍정적·부정적 증거에 부호가 있는 신뢰 가중치를 부여한다.
• 기준 보상을 낮추지 않는 결합. 검증기 점수는 단계별 보상에 반영되지만 판정 모델의 기준값에서 차감되지는 않는다. 부정확한 자기 평가가 학습을 직접 손상시키는 위험을 줄이려는 설계다.
• 테스트 시점 궤적 선택. Conformal Trajectory Selection은 먼저 탐욕적 궤적을 생성하고, 이후 하나 이상의 다양한 재시도를 만든다. 고정된 검증기가 각 URL 궤적을 요약한 뒤 보수적인 다수결로 현재 결과를 교체할지 결정한다. 이 과정에서 외부 평가 모델을 추가로 호출하지 않는다.

결과와 의미

프로젝트 발표에 따르면 WebArena Infinity에서 Gemma-4와 CLIFT, CTS를 결합한 시스템은 K=3에서 74.6%의 성공률을 기록해 기본 모델보다 12.8%포인트 높았다. VisualWebArena에서는 오픈 모델로 학습한 검증 뱅크를 고정된 GPT-5.5에 전이해 K=4에서 53.7%의 가중 성공률을 보고했다. Online Mind2Web에서는 해당 벤치마크에 특화한 정책 미세조정 없이 뱅크 적응과 재보정을 수행해 61.0%의 성공률을 달성했으며, 이는 GPT-5.5 고노력 설정보다 11.3%포인트 높다고 제시됐다. 이 수치는 프로젝트가 공개한 결과이므로 세부 비교 조건은 전체 논문에서 확인할 필요가 있다.

CLIFT의 핵심은 단순한 다중 샘플링보다 평가 정보를 구조화해 재사용한다는 데 있다. URL 범위, 질문의 극성, 신뢰 가중치를 갖춘 검증 뱅크는 학습 단계에서는 더 밀도 높은 피드백으로, 배포 단계에서는 저비용 선택 기준으로 작동한다. 물론 자기 검증이 항상 정확한 것은 아니다. 에이전트가 페이지 상태를 잘못 이해하거나 중요한 질문을 만들지 못할 수 있고, 웹사이트가 변경되면 기존 증거의 유효성도 떨어질 수 있다. 보정은 위험한 신호를 걸러낼 수 있지만 정확성을 보장하지는 않는다. 그럼에도 평가 모델의 감독을 재사용 가능한 증거로 바꾸고, 외부 판정기를 사용할 수 없는 상황에서는 신중하게 궤적을 선택한다는 방향은 웹 에이전트의 실용화를 위한 중요한 연구 흐름으로 볼 수 있다.

출처：Hugging Face Daily Papers