HCU, 코드·의미 정보·GUI를 하나로 묶은 컴퓨터 사용 에이전트 인터페이스

배경

현재 많은 컴퓨터 사용 에이전트는 스크린샷을 해석한 뒤 마우스와 키보드로 조작하는 방식에 집중합니다. 사람의 사용 방식과 비슷하다는 장점이 있지만, 화면을 반복해서 분석해야 하고 컴퓨터가 제공하는 구조화된 의미 정보나 프로그램 실행 능력을 충분히 활용하지 못할 수 있습니다. ‘Hybrid Computer Use’는 이 문제를 해결하기 위해 세 가지 상호 보완적 채널을 하나의 인터페이스로 통합하는 HCU를 제안합니다.

핵심 구성

• 세 가지 채널 제공: 프로그램 채널에서는 코드와 명령줄 도구를 사용합니다. 의미 채널에서는 접근성(AX) 트리를 통해 화면의 구조와 컨트롤 정보를 읽습니다. 시각 채널에서는 스크린샷과 GUI 동작을 활용합니다.
• 모델이 직접 선택: 별도의 상위 플래너나 라우터가 모든 결정을 내리는 구조가 아닙니다. 모델이 각 단계에서 코드, AX, GUI 중 하나를 선택하고 작업 중간에 채널을 바꿀 수 있습니다.
• AX 상호작용 최적화: 컨트롤을 짧은 참조로 지정하고 한 번의 호출에서 최대 64개 동작을 처리할 수 있습니다. 전체 화면 상태를 반복해서 반환하는 대신 AX 변경분을 보고하며, 입력을 실행하기 전 대상이 최신 상태에서 유효한지도 확인합니다.
• 다양한 실행 환경: HCU는 MCP 서버, SDK, CLI 형태로 제공됩니다. 제공된 자료에 따르면 Linux, macOS, Windows에서 사용할 수 있고 여러 에이전트 실행 환경과 연결할 수 있습니다.

실험 결과

OSWorld 2.0에서 HCU는 비교된 시스템 가운데 Partial과 Binary 점수 모두 최고치를 기록했습니다. GPT-6 Astra를 사용한 Partial 점수는 72.37%, Claude Opus 5를 사용한 Binary 점수는 35.19%로 보고됐습니다. OSWorld 1.0에서는 CUA Driver를 HCU로 교체했을 때 평가된 네 모델 모두의 성능이 평균 6.48포인트 상승했고, 단계 수는 17%, 비용은 30% 감소했습니다. 또한 Windows, macOS, Linux에서 CUA Driver의 약 절반 비용으로 더 높은 점수를 얻었다고 제시합니다.

의미와 영향

HCU의 핵심은 도구를 단순히 추가한 데 있지 않습니다. 컴퓨터 사용 에이전트의 기본 입력을 시각 정보로만 한정하지 않고, 애플리케이션의 의미 구조와 프로그램 실행 능력을 함께 노출한다는 점이 중요합니다. 반복적인 파일·시스템 작업에는 코드가, UI 요소를 정확히 찾는 데에는 AX가, 화면의 배치나 시각적 상태를 판단하는 데에는 GUI가 더 적합할 수 있습니다.

궤적 분석에 따르면 모델마다 세 채널에 작업을 배분하는 방식은 달랐지만, 평가된 모든 모델이 HCU를 사용했을 때 개선됐습니다. 이는 모든 모델에 동일한 조작 절차를 강요하기보다, 여러 경로를 선택할 수 있는 공통 인터페이스를 제공하는 편이 유연할 수 있음을 보여줍니다.

물론 실제 성능은 모델이 언제 코드, AX, GUI를 사용해야 하는지 안정적으로 판단하는 능력에 달려 있습니다. 제시된 수치는 특정 벤치마크와 비교 조건에서 얻은 결과이므로 모든 업무 흐름에 그대로 일반화할 수는 없습니다. 그럼에도 HCU는 컴퓨터를 화면이면서 동시에 구조화된 프로그래밍 환경으로 다루는 에이전트 설계의 구체적인 방향을 제시합니다.

출처: Hugging Face Daily Papers