Echoverse: 컴퓨터 사용 에이전트를 위한 깊고 진화하는 앱 환경

도입

컴퓨터 사용 에이전트는 정적인 문서만으로는 충분히 배우기 어렵다. 버튼을 누르고, 텍스트를 입력하고, 폼을 제출하고, 때로는 실패한 뒤 애플리케이션의 상태가 어떻게 바뀌었는지 관찰해야 한다. 하지만 실제로 중요한 서비스는 로그인 뒤에 있고, 사용자 데이터와 복잡한 상태를 포함하며, 반복적으로 망가뜨리고 초기화하기가 쉽지 않다. 그래서 연구에서는 실제 사이트를 대신할 합성 환경이 필요해졌다.

Microsoft Research의 Echoverse는 이 합성 환경의 품질 문제를 정면으로 다룬다. 최근에는 환경을 대량 생성하는 파이프라인이 등장했지만, 논문은 수량보다 내부 구성에 주목한다. 환경이 충분한 행동 깊이를 갖는지, 에이전트가 실제로 실패하는 상호작용을 겨냥하는지, 모델이 발전할 때 환경도 함께 개선되는지가 핵심이라는 것이다.

핵심 포인트

• 상태 있는 앱 생성: Echoverse는 명세를 컴파일해 내부 데이터베이스와 상태 변화를 가진 인터랙티브 애플리케이션을 만든다.
• 근거 있는 채점: 작업 성공 여부는 앱 자체 데이터베이스의 변화로 검증된다. 단순한 화면 판정이나 모호한 텍스트 평가에만 의존하지 않는다.
• 공동 진화 루프: 채점된 rollout은 환경, 작업, 검증기를 고치는 데 쓰이고, 동시에 모델 학습 신호로도 사용된다.
• 표면보다 행동 깊이: 논문은 얕은 환경이 실제 사이트 정확도를 오히려 낮출 수 있으며, 깊은 환경은 전이를 돕는다고 보고한다.
• 강화학습 환경으로도 활용: 같은 세계를 RL 환경으로 사용하고, grounded verifier와 단계별 조밀한 판단 보상을 결합한다.

결과가 보여주는 것

논문에 따르면 12개의 Echoverse 환경에서 훈련한 9B 모델은 14개 평가 분할에서 36.5%에서 67.1%로 향상됐다. 이는 이 모델을 가르친 더 큰 프런티어 모델과의 차이를 14포인트 이내로 줄인 결과다.

세부 분석도 흥미롭다. 동일한 도메인에서 얕은 환경은 live-site accuracy를 80.0에서 75.0으로 낮췄지만, 깊은 환경은 80.0에서 85.0으로, 다른 설정에서는 48.0에서 65.0으로 끌어올렸다. 하나의 인터페이스 컨트롤을 여러 렌더링 방식으로 반복 훈련하면 보지 못한 위젯 계열과 오픈 웹으로도 전이됐다. 또한 단일 환경을 수정하는 것만으로 그 환경에서 훈련한 모델 성능이 16.2%에서 38.5%로 올랐다. 강화학습 설정에서는 grounded verifier와 단계별 평가를 결합한 보상으로 held-out 점수가 58.8%에서 68.0%로 상승했다.

의미와 영향

Echoverse의 중요한 메시지는 에이전트 훈련이 단순한 예제 수집을 넘어, 조작 가능한 세계를 설계하는 문제로 이동하고 있다는 점이다. 애플리케이션은 정적인 화면이 아니라 제약, 기록, 부작용, 숨은 상태를 가진 시스템이다. 환경이 겉모습만 흉내 낸다면 모델은 실제 사용에 취약한 지름길을 배울 수 있다.

앞으로 에이전트 인프라의 경쟁력은 환경의 개수뿐 아니라 신뢰할 수 있는 검증기, 실제 실패 양상을 겨냥한 과제, 자동 수정 가능한 루프에서 나올 가능성이 크다. Echoverse는 애플리케이션, 시드 데이터, grounded grader를 포함한 4개 환경을 벤치마크로 공개한다. 이는 완성된 해답이라기보다, 실제 소프트웨어 사용에 가까운 훈련 세계를 만드는 청사진에 가깝다.

출처: Hugging Face Daily Papers