OpenGCUA, 범용 컴퓨터 사용 에이전트의 전체 스택 공개

들어가며

컴퓨터 사용 에이전트는 스크린샷을 보고 버튼을 클릭하는 단순한 방식에서 벗어나, 여러 인터페이스를 선택해 실제 작업을 완수하는 시스템으로 발전하고 있다. 알리바바 MAI-UI 팀이 공개한 OpenGCUA(Open Generalist Computer Use)는 이런 에이전트의 전체 기술 스택을 개방하려는 프로젝트다. 첫 릴리스에는 에이전트 하네스, 프롬프트, 평가 궤적, 실제 기기용 도구, 크로스 디바이스 SDK가 포함됐다.

GUI 중심 접근을 넘어

OpenGCUA가 말하는 범용 컴퓨터 사용 에이전트는 무엇을 관찰할지, 어떤 방식으로 행동할지, 작업을 어떻게 구성할지를 모델이 직접 결정한다. 스크린샷만 사용하는 것이 아니라 접근성 트리, 애플리케이션 및 시스템 API, 셸 명령도 활용한다. 구조화된 정보만으로 상태를 파악하기 어려울 때 시각적 조작을 선택할 수도 있다.

이 접근법은 모든 작업을 ‘스크린샷, 클릭, 다시 확인’이라는 고정 순서에 묶지 않는다. 과제에 따라 구조화된 상태 정보, 프로그래밍 인터페이스, 시각적 피드백을 조합하게 하는 것이 핵심이다.

코드 실행을 제어 계층으로 활용

GUI 조작, 접근성 정보 조회, API 호출, 셸 실행은 하나의 실행 가능한 프로그램 안에서 다뤄진다. 반복문과 조건 분기, 중간 결과가 다음 행동을 결정하므로, 모델은 가져온 파일이나 텍스트, 시스템 상태를 보고 계획을 수정할 수 있다.

OpenGCUA는 ‘하네스에서 모델로의 의사결정 이전’도 제안한다. 언제 관찰할지, 현재 작업 상태를 어떻게 판단할지 같은 일부 결정을 미리 정해진 하네스 규칙이 아니라 모델이 맡는다. 하네스는 사용할 수 있는 메커니즘을 제공하고, 모델은 그 메커니즘을 언제 호출할지 선택하는 방식이다. 고정 절차의 불필요한 실행을 줄일 수 있지만, 계획 수립과 도구 선택, 오류 복구에 대한 모델의 부담은 커진다.

평가 결과와 공개 범위

OSWorld-v2에서 OpenGCUA의 전체 구성은 GPT-6 Astra와 Claude Opus 5를 포함한 8개 평가 모델 모두의 결과를 개선했다고 보고됐다. 평균 부분 점수는 19.6점 높아졌고, 작업당 보고 단계 수는 평균 53.0% 줄었다. 이는 기본 모델을 교체하지 않더라도 실행 프레임워크의 설계가 성능에 큰 영향을 줄 수 있음을 시사한다. 다만 해당 수치는 프로젝트가 지정한 프롬프트, 하네스, 평가 환경을 기준으로 하므로 추가 재현이 필요하다.

공개된 자료에는 구현 코드, 프롬프트, 8개 모델의 평가 궤적이 포함된다. macOS용 실제 기기 하네스와 컴퓨터, 브라우저, 스마트폰을 하나의 프로그래밍 인터페이스로 연결하는 크로스 디바이스 SDK도 제공된다. 이를 통해 하나의 프로그램이 여러 기기를 조정하는 작업을 실험할 수 있다.

의미와 남은 과제

OpenGCUA는 경쟁의 초점을 모델 단독 성능에서 모델, 도구, 실행 환경, 벤치마크의 공동 설계로 확장한다. 실제 기기 환경에서는 권한, 상태 변화, 기기별 차이처럼 시뮬레이션에서 잘 드러나지 않는 문제도 발생한다.

앞으로는 코드 실행 비용을 낮추는 방법, 개방형 도구 환경의 권한과 안전 관리, 실제 기기용 평가 기준, 브라우저 사용과 범용 컴퓨터 사용의 통합이 중요하다. OpenGCUA는 연구와 재현을 위한 공개 출발점을 제공하지만, 장기적인 영향은 커뮤니티 검증과 안전장치의 성숙도에 달려 있다.

출처: Hugging Face Daily Papers