CUA-Master, 오픈월드 재귀 개선으로 컴퓨터 사용 에이전트 확장

배경

컴퓨터 사용 에이전트(CUA)가 화면을 보고 클릭하는 것만으로는 충분하지 않다. 에이전트는 여러 단계로 이어진 작업, 계속 변하는 인터페이스 상태, 잘못된 조작, 실패 이후의 복구, 최종 결과의 검증까지 처리해야 한다. CUA-Master는 이 문제를 단순한 모델 규모 확장이 아니라, 데이터 생성과 모델 최적화를 반복적으로 개선하는 시스템의 문제로 바라본다.

중첩 이중 루프

논문의 핵심은 서로 연결된 두 개의 재귀적 개선 루프다. 시스템 수준의 바깥 루프는 ‘세계·데이터·모델’ 플라이휠로 설명된다. 에이전트를 오픈월드 과제에 적용하면 현재 모델의 취약점이 드러난다. 이 약점을 다음 데이터 구축과 최적화의 기준으로 삼아, 학습 분포를 고정하지 않고 모델의 변화에 맞춰 갱신한다.

데이터 수준의 안쪽 루프는 두 단계로 구성된다.

• 오픈월드 시딩: 공개 교육 영상에서 실제 작업 흐름을 찾아 씨앗 과제로 정리한다. 상호작용 궤적은 화면 정보만 모방하지 않도록 시각 경로와 의미 경로를 함께 사용해 복원한다.
• 자촉매적 전파: 씨앗 과제를 재사용 가능한 동작 프리미티브로 바꾼 뒤, 이를 조합하거나 변형해 더 다양하고 복잡한 과제를 합성한다. 생성된 과제는 결과를 확인할 수 있는 구조를 목표로 한다.

실제 시연 데이터는 수집 비용이 높고 가능한 작업의 일부만 보여준다. 프리미티브를 재사용하면 적은 수의 실제 사례에서 출발해 작업 공간을 넓히면서도 과제 구조와 예상 결과를 어느 정도 통제할 수 있다. 모델이 임의의 경험을 스스로 만들어내는 방식과 달리, 이 접근법은 오픈월드 사례를 출발점으로 삼는다는 점이 특징이다.

실패한 궤적을 다시 활용하기

CUA-Master는 실제 환경에서 궤적을 수집할 때 피드백 기반 스냅샷·롤백 재시도 메커니즘도 사용한다. 중간 단계에서 오류가 발생하면 환경의 피드백을 참고해 적절한 이전 상태로 돌아가 다시 시도한다. 이 방식은 작은 실수 하나 때문에 전체 궤적을 버리는 상황을 줄이고, 유효한 상호작용 데이터를 더 효율적으로 확보하려는 목적을 가진다. 제공된 소재에는 구체적인 구현 과정은 포함되어 있지 않다.

실험 결과와 의미

논문이 보고한 CUA-Master-27B의 점수는 OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0이다. 평가 범위에는 GUI만 사용하는 환경과 GUI·CLI를 함께 사용하는 환경이 포함된다. 저자들은 재귀적 반복을 통해 데이터 합성의 품질과 효율이 개선되고, 반복이 진행될수록 성능도 계속 상승한다고 설명한다.

이 연구가 제시하는 핵심 시사점은 CUA 확장에서 모델 크기만큼 개선 루프의 품질도 중요하다는 것이다. 오픈월드 데이터는 새로운 작업 분포를 제공하고, 모델의 실패는 부족한 능력을 드러내며, 프리미티브 기반 합성은 과제 범위를 넓힌다. 롤백机制은 데이터 수집 과정의 손실을 줄인다. 다만 현재 소재는 초록과 주요 지표 중심이므로, 세부 절제 실험, 데이터 규모, 일반화 한계는 논문 전문을 확인한 뒤 판단해야 한다.

출처: Hugging Face Daily Papers