KnowAct-GUIClaw: 기억과 스킬로 자기 진화하는 개인 GUI 어시스턴트

도입

개인용 에이전트는 단순히 도구를 호출하는 단계를 넘어, 사용자의 기기 조작을 반복적으로 학습하는 방향으로 발전하고 있다. Hugging Face Daily Papers에 소개된 논문 “KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill”은 복잡한 작업 자동화 프레임워크인 OpenClaw의 한계를 다룬다. OpenClaw는 복잡한 작업 자동화에서 중요한 프레임워크로 부상했지만, 크로스플랫폼 GUI 상호작용 지원이 충분하지 않고 실행 경험을 통해 성능을 개선하는 자기 진화 메커니즘도 충분히 갖추지 못했다는 문제의식에서 출발한다.

논문은 이를 해결하기 위해 KnowAct-GUIClaw를 제안한다. 핵심은 “Know Deeply, Act Perfectly”라는 패러다임이다. 사용자의 상호작용, 작업 실행 경험, 피드백을 축적하고 이를 작업 분해, 도구 호출, GUI 조작의 정확도와 효율 향상에 직접 활용해야 한다는 관점이다.

핵심 요점

• OpenClaw의 두 가지 한계 보완: 논문은 OpenClaw가 GUI 조작 지원, 다양한 플랫폼으로의 이전, 실행 경험 기반의 반복적 자기 개선 측면에서 제약을 가진다고 지적한다.
• Know-Route-Act-Reflect 구조: KnowAct-GUIClaw는 이해, 경로 선택, 실행, 반성의 흐름으로 에이전트 동작을 구성한다. 호스트 에이전트는 축적된 상호작용 경험과 작업 관련 지식을 활용해 장기 작업을 분해하고 할당한다.
• 플러그형 GUI 서브에이전트: 프레임워크는 GUI 조작을 담당하는 모듈형 서브에이전트를 도입한다. 이를 통해 Android, iOS, HarmonyOS, Windows 등 여러 환경에서 더 원활한 이전과 빠른 통합을 목표로 한다.
• 경험 귀속형 메모리 시스템: GUI 서브에이전트는 작업 실행 경험을 추적 가능한 방식으로 저장하고, 이후 의사결정에 재사용할 수 있도록 한다.
• 자기 진화형 스킬 라이브러리: 실행 과정에서 얻은 조작 능력과 절차를 재사용 가능한 스킬로 축적해, 이후 작업의 효율을 높이는 구조를 갖춘다.
• 사용자 프로필과 피드백의 지속적 활용: 논문은 사용자 정보와 피드백을 계속 저장해 작업 분해와 도구 호출의 정확도를 개선하는 점을 강조한다.

의미와 영향

KnowAct-GUIClaw의 의미는 인지적 이해와 실제 GUI 실행을 하나의 순환 구조로 연결한다는 데 있다. 에이전트는 사용자와 작업을 이해하고, 적절한 실행 경로를 선택하며, 인터페이스에서 행동하고, 결과를 반성해 메모리와 스킬을 갱신한다. 이는 일회성 자동화 도구가 아니라 사용자와 기기 환경에 장기적으로 적응하는 개인 어시스턴트에 가까운 접근이다.

초록에 따르면 Android, iOS, HarmonyOS, Windows에서 수행한 실험에서 KnowAct-GUIClaw는 효율성, 정확성, 크로스플랫폼 적응성 측면에서 더 우수한 성과를 보였다. 제공된 요약에는 구체적인 수치가 포함되어 있지 않지만, 방향성은 분명하다. 앞으로의 GUI 에이전트 경쟁력은 추론 능력뿐 아니라 실제 실행 경험을 재사용 가능한 기억과 스킬로 얼마나 잘 전환하느냐에 달려 있다.

출처: Hugging Face Daily Papers