OS-Helix, GUI와 코드 실행을 하나로 학습하는 컴퓨터 에이전트

들어가며

현실의 데스크톱 작업은 마우스 클릭이나 코드 실행 중 하나만으로 끝나지 않는 경우가 많다. 사용자는 문서 편집기나 파일 관리자를 통해 현재 상태를 확인한 뒤, 스크립트로 여러 파일을 일괄 처리하고, 다시 그래픽 인터페이스로 돌아와 결과를 검토할 수 있다. 따라서 컴퓨터 사용 에이전트에는 GUI를 이해하는 능력과 코드를 작성하는 능력뿐 아니라, 두 방식을 언제 전환하고 어떻게 연결할지 결정하는 능력이 필요하다.

중국과학기술대 연구진이 제안한 OS-Helix는 이 문제를 하나의 멀티모달 정책으로 다룬다. GUI 동작과 코드 실행을 프롬프트 수준에서 이어 붙인 별도 도구로 취급하기보다, 하나의 엔드투엔드 에이전트가 함께 선택하고 실행하도록 학습한다. 연구진의 예비 실험에서는 GUI 에이전트에 코드 도구를 단순히 추가했을 때 성능이 오히려 낮아질 수 있었다. 도구를 제공하는 것만으로는 현재 상태와 목표를 바탕으로 적절한 수단을 고르는 라우팅 능력이 생기지 않기 때문이다.

핵심 구성

• 통합 액션 공간. 클릭, 키보드 입력과 같은 GUI 동작과 코드 실행을 동일한 정책에서 학습한다. 이를 통해 모델이 작업 중 모달리티 선택 자체를 학습할 수 있도록 한다.
• 실행 가능한 데스크톱 상태. 데스크톱 애플리케이션과 실제 파일 같은 아티팩트를 결합해 실행 가능한 Ubuntu 환경을 구성한다. 단순한 텍스트 지시가 아니라 파일과 애플리케이션의 실제 상태에 기반한 과제를 만들기 위한 접근이다.
• 지시와 평가의 분리. 과제 지시문과 평가기를 분리해 생성하고, 최종 환경 상태를 기준으로 결과를 확인한다. GUI로 해결하든 코드로 해결하든, 두 방식을 함께 사용하든 동일한 기준으로 평가할 수 있다.
• SFT와 온라인 강화학습. 먼저 품질을 걸러낸 GUI·코드 혼합 궤적으로 지도 미세조정을 수행한 뒤, 실제 데스크톱 환경에서 온라인 강화학습을 진행한다.
• Step-balanced GSPO. GUI 액션은 짧은 토큰으로 표현되는 반면 코드 액션은 긴 프로그램이 될 수 있다. 원시 토큰 수를 기준으로 중요도를 합산하면 코드가 최적화를 지배할 수 있으므로, 제안 방식은 액션 단계 단위로 가중치를 집계해 균형을 맞춘다.

성능과 의미

OSWorld-Verified에서 OS-Helix-27B와 OS-Helix-35B-A3B는 각각 대응하는 Qwen3.5 하이브리드 베이스라인보다 35.0%, 33.7%의 상대적 향상을 보고했다. 강화학습을 적용한 OS-Helix-27B-RL은 성공률 66.44%에 도달했으며, 베이스라인 대비 상대적 향상 폭은 42.9%였다. 또한 Windows 전용 학습 데이터를 사용하지 않고 WindowsAgentArena에서 63.87%를 기록했다고 보고해, 학습 환경과 다른 플랫폼으로의 전이 가능성도 제시했다.

이 연구의 핵심적인 의미는 에이전트에 더 많은 도구를 붙이는 데 있지 않다. 데스크톱 자동화의 병목을 도구 호출 가능 여부가 아니라, 서로 다른 조작 수단을 목표에 맞게 조율하는 정책 학습의 문제로 바라본다는 점이다. 실제 파일 아티팩트를 포함한 환경은 학습 상태를 현실적인 데스크톱 작업에 가깝게 만들고, 최종 상태 평가는 해결 경로가 다른 유효한 방법들을 공정하게 비교할 수 있게 한다.

다만 보고된 결과만으로 범용 컴퓨터 비서가 완성됐다고 보기는 어렵다. 다른 운영체제, 장시간 작업, 예외 상황 복구, 권한이 필요한 작업과 안전 경계에서의 안정성은 추가 검증이 필요하다. 향후 학습 및 평가 코드가 공개된다면, GUI와 코드를 함께 사용하는 컴퓨터 에이전트 연구를 재현하고 확장하는 데 중요한 기반이 될 수 있다.

출처: Hugging Face Daily Papers