Qwen-UI-Agent: 실제 기기 중심의 차세대 GUI 기반 에이전트

들어가며

GUI 에이전트는 이제 단순한 자동 클릭 데모를 넘어, 기존 디지털 기기를 조작하는 범용 실행자로 발전하고 있다. Hugging Face Daily Papers에 올라온 Qwen-UI-Agent 기술 보고서는 이 흐름을 실제 사용 환경에 더 가깝게 밀어붙이는 시도다. 정적인 스크린샷이나 단순화된 웹페이지가 아니라, 스마트폰, 컴퓨터, 브라우저, DeepSearch 같은 여러 환경에서 작업을 수행하는 것을 목표로 한다.

Qwen-UI-Agent는 real-world centric foundation GUI agent로 소개된다. 보고서가 제시하는 방향은 실제 기기에서의 신뢰성, 플랫폼을 넘나드는 워크플로, GUI 조작과 CLI 실행의 결합, 장기 작업 수행, 유용한 서비스의 능동적 시작, 그리고 최소한의 사람 개입으로 이루어지는 능력 개선이다.

핵심 포인트

• 여러 디지털 환경을 하나의 에이전트로 통합: Qwen-UI-Agent는 모바일, computer-use, 웹, DeepSearch 시나리오를 단일 모델 안에서 다루려 한다. 특정 브라우저 벤치마크에만 맞춘 시스템이 아니라, 더 넓은 디지털 작업 공간을 대상으로 한다.
• 샌드박스와 실제 기기 런타임의 결합: 다양한 샌드박스 환경과 대규모 실제 모바일 기기 런타임을 함께 사용한다. 샌드박스는 통제된 학습과 평가에 유리하고, 실제 기기는 앱 상태, UI 변화, 조작 지연 같은 현실적인 조건을 제공한다.
• GUI와 CLI를 함께 쓰는 행동 공간: 에이전트는 클릭, 입력, 스와이프 같은 그래픽 인터페이스 조작뿐 아니라 CLI 실행도 같은 행동 공간에서 사용할 수 있다. 화면 조작만으로는 비효율적인 작업에서 더 직접적인 실행 경로를 선택할 수 있다는 뜻이다.
• 한 번의 모델 턴에서 여러 행동 생성: 매 행동마다 모델이 다시 추론하는 방식이 아니라, 한 번의 결정에서 여러 행동을 배치로 생성할 수 있다. 긴 작업에서는 상호작용 비용을 줄이고 실행 효율을 높이는 데 도움이 될 수 있다.
• AutoResearch식 데이터 플라이휠: 보고서는 에이전트가 작업과 환경을 만들고, 실패를 진단하며, 다음 반복을 계획하는 구조를 설명한다. 이는 완전한 수작업 데이터 구축과 디버깅 의존도를 낮추려는 접근이다.
• 장기 궤적을 위한 온라인 강화학습: 100턴을 넘는 궤적 학습을 지원하며, 10,000개 이상의 동시 환경으로 rollout을 가속한다고 보고됐다. 이는 단일 UI 인식보다 지속적인 작업 완수를 중요한 목표로 삼는다는 점을 보여준다.
• 가벼운 harness 계층: 이 계층은 모바일과 컴퓨터를 오가는 상태 유지형 워크플로와 능동적 서비스 시작을 지원한다. 결과적으로 에이전트는 수동 응답 시스템보다 지속적인 디지털 보조자에 가까워진다.

보고된 평가 결과

저자들에 따르면 Qwen-UI-Agent는 모바일 사용 벤치마크에서 새로운 최고 수준의 성능을 냈다. MobileWorld 82.1%, MobileWorld-Real 92.2%, AndroidDaily 97.5%가 보고됐다. 컴퓨터 사용에서는 OSWorld-Verified 79.5%, OSWorld-v2에서 40.0% partial-progress score를 기록했다. 브라우저 사용과 GUI grounding 영역에서는 WebArena 73.6%가 제시됐고, Opus 4.8, Gemini 3.1 Pro, GPT-5.6 Sol 같은 프런티어 모델과 비교해 경쟁력이 있다고 설명한다.

다만 이 수치들은 논문이 보고한 결과다. GUI 에이전트 평가는 과제 분포, 실제 기기 반영 정도, 성공 판정 방식, 실패 처리 방식에 따라 크게 달라질 수 있다. 따라서 더 넓은 조건에서의 독립 재현과 검증이 필요하다.

의미와 영향

Qwen-UI-Agent의 의미는 GUI 에이전트를 단순히 화면 요소를 찾고 누르는 모델이 아니라, 실제 디지털 환경에서 긴 작업을 수행하는 실행 시스템으로 확장했다는 데 있다. 실제 기기 실행, 크로스 플랫폼 워크플로, GUI와 CLI의 혼합, 장기 강화학습, 에이전트 기반 데이터 플라이휠은 실용화를 향한 중요한 구성 요소다.

이런 시스템이 성숙하면 AI 비서는 채팅창 안에 머무르지 않고, 스마트폰과 컴퓨터, 웹서비스에서 정보 조사, 앱 조작, 환경 설정, 자료 정리 같은 연속 작업을 직접 수행할 수 있다. 동시에 권한, 안전성, 오작동 복구, 사용자 감독 같은 문제도 더 중요해진다. 다음 단계의 핵심은 벤치마크 점수 향상만이 아니라, 복잡한 실제 환경에서 검증 가능하고 제어 가능하며 되돌릴 수 있는 실행 능력이다.

출처: Hugging Face Daily Papers