EvoSkill-GUI, GUI 에이전트의 스킬을 실행 중 진화시키다

들어가며

GUI 에이전트가 장시간 작업에서 어려움을 겪는 이유는 단순한 클릭 자체가 아니다. 작업이 진행되는 동안 인터페이스의 상태가 계속 바뀐다는 점이 핵심 문제다. 팝업이 갑자기 나타나거나 페이지 로딩이 늦어지고, 버튼과 위젯의 위치가 달라지면 실행 전에 세운 계획은 쉽게 무너진다.

기존 스킬 프레임워크는 성공한 절차를 재사용 가능한 지식으로 저장해 이 문제를 완화해 왔다. 그러나 많은 스킬은 배포 전에 만들어진 뒤 고정된 결과물처럼 취급된다. EvoSkill-GUI는 다른 접근을 취한다. 실제 실행에서 드러난 약점을 스킬에 반영할 수 있어야 하며, 스킬은 배포 이후에도 개선되는 절차적 지식이어야 한다는 관점이다.

핵심 구조

• 다중 파일 스킬 패키지: 하나의 스킬은 검색 메타데이터, 실행 가능한 계획, 대체 위치 탐색 방법, 실패 복구 규칙, 접근성 유틸리티, 실패 사례로 나뉜다. 지식을 역할별로 분리해 실행 단계에 맞는 정보를 꺼내도록 한다.
• 롤아웃 중 즉시 수정: 현재 화면이 예상과 다르면 실행기는 기존 계획을 무조건 따르지 않고, 진행 중인 경로를 조정한다.
• 분리된 실패 진단: 독립된 비평기가 엄격한 정보 격리 조건에서 실패 궤적을 분석한다. 실행 당시 에이전트가 알 수 없었던 정보를 이용해 사후적으로 판단하는 문제를 줄이려는 설계다.
• 제한된 편집 권한: 실행기는 제한된 도구 인터페이스를 통해 특정 스킬 파일만 수정한다. 전체 스킬을 임의로 다시 쓰기보다, 필요한 대체 경로와 복구 규칙을 추가하는 데 초점을 둔다.

평가와 의미

논문은 모바일과 데스크톱 환경을 포함하는 MobileWorld, AndroidWorld, OSWorld에서 방법을 평가했다. 저자들의 보고에 따르면 EvoSkill-GUI는 추가 학습 없이 여러 기반 모델의 성능을 개선했다. 세 벤치마크에서 보고된 최대 향상 폭은 각각 16.2%, 6.0%, 10.5%다.

이 결과의 중요한 의미는 에이전트 스킬 라이브러리의 역할을 다시 정의한다는 데 있다. 스킬은 배포 시점에 완성되는 사용 설명서가 아니라, 실제 실패와 복구 경험이 쌓이는 운영 기록이 될 수 있다. 실패한 시도에서 새로운 위치 탐색 전략이나 복구 절차, 주의 사항을 추출하면 유사한 다음 작업에 재사용할 수 있다. 화면 구성과 동작 타이밍을 정적인 워크플로만으로 표현하기 어려운 소프트웨어 환경에서 특히 유용한 방향이다.

다만 잘못된 진단이 부정확한 규칙으로 저장되거나, 수정이 누적되며 새로운 오류를 만들 가능성은 남아 있다. 따라서 핵심은 자기 편집을 무조건 허용하는 것이 아니라, 진단을 분리하고 수정 범위를 제한하는 데 있다. EvoSkill-GUI는 모델을 다시 훈련하지 않고도 사용 과정의 실패를 다음 실행에 활용 가능한 스킬로 전환하는 방법을 제시한다.

출처: Hugging Face Daily Papers