Mage-VL-Cowork: GUI와 코드를 함께 다루는 4B 컴퓨터 사용 에이전트

들어가며

컴퓨터 사용 에이전트가 실제 업무를 수행하려면 화면을 보고 클릭하는 능력만으로는 부족하다. 그래픽 인터페이스의 상태를 이해하는 동시에 코드를 작성하고 터미널 명령을 실행한 뒤, 다시 GUI 작업으로 돌아와야 하는 경우가 많기 때문이다. Mage-VL-Cowork는 이런 혼합형 작업을 하나의 정책으로 처리하는 방법을 다룬다. 연구진은 일반적인 멀티모달 정렬 체크포인트에서 출발해 4B 규모의 하이브리드 CUA를 훈련하고, 데이터 생성과 학습을 함께 포함한 전체 레시피를 제시했다.

핵심 내용

• 5단계 점진적 학습. 학습 과정은 중간 학습, 지도 미세조정, 강화학습을 가로지른다. GUI 조작과 코드·터미널 사용을 서로 분리된 기능으로 다루기보다, 하나의 과제에서 상황에 따라 결합하도록 훈련한다.
• 재사용 가능한 작업 생성. Mage-CUA-Forge는 과제마다 에이전트를 새로 구성하는 방식 대신, 스킬 조건부 생성 워크플로와 애플리케이션별 준비기를 사용한다. 논문에 따르면 데스크톱과 웹 작업 293,806개를 6,915개 스킬에 걸쳐 합성했으며, 반복적인 작업별 지출을 82.6% 낮췄다.
• 교사 하니스의 진화. 변경되지 않은 기본 교사의 궤적을 그대로 증류하지 않고, 교사가 사용하는 도구와 실행 환경을 개선한 뒤 애플리케이션별 CUA 하니스를 만든다. 목표는 각 학습 단계에 맞는 고품질 궤적과 감독 신호를 확보하는 것이다.
• 작은 모델 규모의 성능. Mage-VL-Cowork-4B는 OSWorld-Verified에서 66.0%를 달성했다. 논문 초록은 이를 같은 파라미터 규모에서의 최고 수준 성능으로 설명하며, 추론 비용도 더 효율적이라고 보고한다.

의미와 한계

이 연구의 핵심 가치는 단일 모델 성능보다 모델을 둘러싼 훈련 시스템을 확장 가능한 형태로 설계했다는 데 있다. 컴퓨터 사용 에이전트는 여러 애플리케이션, 스킬, 도구 조합을 폭넓게 경험해야 한다. 그러나 작업을 하나씩 수작업으로 만들면 비용과 일관성이 모두 문제가 된다. Mage-CUA-Forge는 스킬을 재사용하고 애플리케이션별 준비 절차를 적용해 대규모 데이터 생산의 병목을 줄이려 한다.

교사 하니스에 대한 접근도 주목할 만하다. 이 환경에서 교사는 답을 생성하는 모델만을 뜻하지 않는다. 사용할 수 있는 도구, 오류 복구 방식, 애플리케이션과 연결되는 방법이 모두 생성 궤적의 품질에 영향을 미친다. 따라서 고정된 교사에서 더 많은 출력을 수집하는 대신, 교사의 실행 환경 자체를 개선하는 방식이 학습 데이터의 질을 높일 수 있다.

다만 제공된 자료는 주로 논문 초록에 한정되어 있어 세부적인 제거 실험, 작업별 분포, 실패 사례, 독립 재현 결과는 확인할 수 없다. 따라서 66.0%의 점수와 동일 규모에서의 최고 성능이라는 평가는 논문 전문과 후속 평가를 함께 검토해야 한다. 그럼에도 Mage-VL-Cowork는 컴퓨터 사용 에이전트의 발전이 단순한 파라미터 확대만이 아니라, 데이터 생성 파이프라인과 교사 하니스, 단계별 학습 설계를 함께 최적화하는 문제임을 보여준다.

arXiv