UI-Mate, 시연을 참고하고 화면에서 재계획하는 오픈 웨이트 GUI 에이전트

들어가며

그래픽 인터페이스를 이해하는 것은 컴퓨터 사용 에이전트의 출발점일 뿐입니다. 실제 업무에서는 사용자가 모든 클릭 순서와 암묵적인 관례를 설명하지 않으며, 애플리케이션의 창 상태나 화면 구성이 실행마다 달라질 수 있습니다. UI-Mate는 이런 문제를 환경에 기반한 학습 스택과 시연을 활용하는 인컨텍스트 학습으로 나누어 다룹니다.

핵심 내용

• 환경 중심의 폐쇄 루프 학습: UI-Mate는 작업과 검증기를 하나의 번들로 묶고, 작업 생성, 환경 구축, 롤아웃, 결과 필터링, 능력 균형 조정, 지도 미세조정, 온라인 강화학습을 자동화합니다. 대규모 병렬 환경에서 이 과정을 실행하도록 설계해, 단순한 지시문보다 결과를 확인하기 쉬운 경험을 생산하려 합니다.
• 시연을 고정 절차로 사용하지 않음: 모델은 멀티모달 시연을 하위 작업 수준의 워크플로로 바꿉니다. 현재 요청과 관련 있는 단계를 따르되, 실제로 눈앞에 있는 인터페이스를 기준으로 다시 계획합니다. 따라서 시연과 실행 시점의 레이아웃이나 창 상태가 달라도 절차를 그대로 재생하는 방식보다 유연하게 대응할 수 있습니다.
• 장기 사무 작업 벤치마크: OSWorkerBench는 41개 애플리케이션에 걸친 100개의 장기 사무 작업으로 구성되며, 지시만 제공하는 설정과 시연을 함께 제공하는 설정을 모두 지원합니다. 제공된 설명에 따르면 33개 작업의 self-demo 설정은 강력한 에이전트가 같은 목표를 성공적으로 수행한 롤아웃을 사용합니다. 45개 작업의 variant-demo 설정은 목표와 관련 있지만 동일하지 않은 작업을 사람이 녹화한 자료를 사용합니다.
• 오픈 웨이트 성능: UI-Mate-27B는 일반 컴퓨터 사용 벤치마크에서 새로운 오픈 웨이트 성과를 세웠다고 보고됐으며, OSWorld-Verified에서 77.0%를 기록했습니다.

의미와 남은 과제

이 연구의 의미는 새로운 GUI 모델을 제시하는 데 그치지 않고, 에이전트가 사용할 경험을 어떻게 만들고 검증할지를 시스템의 중심에 둔 데 있습니다. 실제 사용자는 녹화 영상이나 예시, 원하는 최종 결과만 제공할 수 있습니다. 시연의 의도는 추출하되 현재 화면에 맞춰 행동을 수정하는 능력은, 고정된 클릭 순서를 암기하는 방식보다 실제 업무에 가깝습니다.

다만 제공된 자료만으로는 모든 애플리케이션에서의 안정성, 예상하지 못한 화면 변화에 대한 복구 능력, 통제되지 않은 사용자 환경에서의 성능을 판단하기 어렵습니다. 시연의 품질, 검증기가 다루는 범위, 서로 다른 평가 설정의 비교 가능성도 결과 해석에 영향을 줄 수 있습니다. 그럼에도 UI-Mate는 환경에서 경험을 생성하고, 결과를 검증하며, 폐쇄 루프로 학습하고, 시연을 지침으로 활용하는 오픈 웨이트 GUI 연구의 방향을 보여줍니다.

출처: Hugging Face Daily Papers