StateAct: 픽셀보다 프로그램 상태를 먼저 보는 컴퓨터 사용 에이전트

도입

컴퓨터 사용 에이전트 연구는 대체로 화면을 더 잘 읽는 방향으로 발전해 왔다. 스크린샷을 해석하고, 버튼 위치를 찾고, 어디를 클릭할지 결정하는 능력이 핵심이라고 본 것이다. StateAct는 이 전제를 뒤집는다. 화면 픽셀은 파일, 애플리케이션 백엔드, DOM, 저장된 결과물 같은 실제 프로그램 상태를 손실 있게 렌더링한 것일 뿐이며, 서로 다른 상태가 같은 화면처럼 보일 수도 있다는 주장이다.

핵심 내용

• 상태 우선 접근: StateAct의 주 에이전트는 스크린샷 대신 코드로 프로그램 상태에 접근한다. 파일 경로, 저장 여부, DOM 구조, 애플리케이션 데이터 등을 직접 확인하고 필요한 경우 수정한다.
• GUI는 필요한 곳에만 사용: GUI 상호작용은 별도의 전문 하위 에이전트가 맡는다. 다만 모든 단계에서 화면을 보게 하는 것이 아니라, 실제로 시각적 판단이나 클릭이 필요한 하위 목표에만 투입한다. 자료에 따르면 108개 작업 중 28개 작업에서만 GUI 하위 에이전트가 필요했고, GUI 관련 단계는 주 에이전트 단계의 1.1%에 그쳤다.
• 검증도 상태 기반: 독립적인 finish gate가 최종 결과를 점검한다. 출력이 없거나, 저장되지 않았거나, 잘못된 경로에 기록된 경우 같은 구조적 실패를 확인하는 방식이다. 이런 오류는 화면만 보고는 놓치기 쉽지만, 상태에 직접 접근하면 더 명확히 검증할 수 있다.
• 성능과 비용의 동시 개선: OSWorld 2.0에서 StateAct는 Claude Opus 4.8의 이진 성공률을 20.6%에서 26.9%로, 부분 성공률을 54.8%에서 61.6%로 끌어올렸다. 같은 모델을 스크린샷 중심으로 구동한 경우보다 작업당 비용은 약 9배 낮았다고 보고됐다. 반면 GUI 하위 에이전트가 없는 code-only 변형은 부분 성공률 45.9%로, 스크린샷 기반 기준선 54.8%보다 낮았다. 즉, 핵심은 GUI를 없애는 것이 아니라 역할을 재배치하는 데 있다.

의미와 영향

StateAct가 던지는 메시지는 분명하다. 컴퓨터 사용은 단순한 시각 인식 문제가 아니라, 긴 작업에서 목표를 유지하고 상태를 관리하며 결과를 검증하는 에이전트 추론 문제다. 행동, 기억, 검증을 프로그램 상태에 접지하면 픽셀 해석의 모호성과 토큰 비용을 줄일 수 있고, 모델의 추론 능력을 더 직접적으로 활용할 수 있다.

자료는 Claude Opus 4.8뿐 아니라 내부 31B SFR-CUA 모델에서도 여러 벤치마크 향상이 있었다고 설명한다. 이는 StateAct가 특정 대형 모델에만 의존한 기법이 아니라, 컴퓨터 사용 에이전트 설계 전반에 적용 가능한 방향일 수 있음을 시사한다. 물론 실제 환경에는 여전히 시각적 판단과 GUI 조작이 필요한 장면이 많다. 다만 다음 성능 향상은 화면을 더 오래 바라보는 것보다, 화면 아래의 상태를 더 잘 다루는 데서 나올 가능성이 커졌다.

출처: Hugging Face Daily Papers