Work2Skill: 인간 GUI 경험을 재사용 가능한 에이전트 스킬로 변환

들어가며

컴퓨터 사용 에이전트는 GUI에서 점점 더 복잡한 작업을 수행하고 있습니다. 하지만 익숙하지 않은 소프트웨어나 전문 지식이 필요한 업무 흐름에서는 여전히 한계가 뚜렷합니다. 인간은 버튼을 누르는 순서만 따르는 것이 아니라, 어떤 단계가 반드시 필요한지, 이전 결과가 다음 작업에 어떤 영향을 주는지, 작업이 실제로 끝났는지를 함께 판단합니다. 단순한 마우스와 키보드 기록만으로는 이런 절차적 지식을 재사용하기 어렵습니다.

Work2Skill은 인간의 데스크톱 시연을 재사용 가능한 에이전트 스킬로 바꾸려는 프레임워크입니다. 목표는 행동을 그대로 반복하게 만드는 것이 아니라, 시연 속에서 다른 작업 사례에도 적용할 수 있는 규칙과 조건을 찾아내는 것입니다.

핵심 내용

• 동기화된 상호작용 기록: WorkRecorder는 화면 녹화, 마우스와 키보드 이벤트, 이용 가능한 접근성 트리 정보를 정렬합니다. 에이전트는 특정 행동이 발생했을 때 화면에 무엇이 보였고 어떤 입력이 전달됐는지를 함께 살필 수 있습니다.
• 검증된 시연 데이터셋: 연구팀은 WorkRecorder를 이용해 WorkDemo-350을 구축했습니다. 이 데이터셋에는 완전성과 작업 성공 여부를 확인한 인간 데스크톱 GUI 시연 350개가 포함됩니다.
• 행동 나열을 넘어선 스킬 유도: 제안 방법은 필요할 때 시연의 증거를 확인해 워크플로 규칙, 단계 사이의 의존성, 작업 완료를 판별하는 조건을 추출합니다.
• 여러 실행 모델에서 평가: 동일한 실행 조건에서 Work2Skill은 비교된 스킬 유도 방법 중 가장 높은 점수와 성공률을 보였습니다. 각 모델의 No Skill 기준과 비교한 평균 점수 향상 폭은 MyPCBench Bounded Action에서 4.6710.54점, OSWorld-Verified의 286개 작업 부분집합에서 3.117.50점이었습니다.

의미와 남은 과제

Work2Skill의 핵심 의의는 GUI 에이전트가 고정된 스크립트가 아니라 절차적 지식을 재사용하도록 돕는 데 있습니다. 창 배치나 입력값이 달라지면 동일한 작업의 클릭 경로도 달라질 수 있습니다. 그러나 단계의 순서, 선행 조건, 완료 확인 방식은 여러 상황에서 반복적으로 활용될 가능성이 큽니다. 이를 스킬로 분리하면 에이전트는 인간의 업무 논리를 유지하면서도 현재 화면에 맞게 구체적인 조작을 바꿀 수 있습니다.

이 연구는 데이터 구축 방식에도 시사점을 줍니다. 단순히 더 많은 궤적을 모으는 것만으로는 충분하지 않으며, 화면과 입력, 인터페이스 구조를 동기화하고 시연이 실제로 성공했는지 확인해야 합니다. WorkRecorder는 수집 인프라를, WorkDemo-350은 선별된 학습·평가 기반을 제공합니다.

다만 서로 다른 소프트웨어 버전이나 동적으로 변하는 화면에서도 유도된 스킬이 장기간 안정적으로 작동하는지는 추가 검증이 필요합니다. 그럼에도 Work2Skill은 인간의 GUI 경험을 에이전트의 지속 가능한 능력으로 연결하는 구체적인 설계 방향을 제시합니다.

출처: Hugging Face Daily Papers