Agent S4, 컴퓨터 사용 에이전트의 인터페이스를 스스로 진화시키다

들어가며

컴퓨터 사용 에이전트는 화면을 클릭하고 문자를 입력할 수 있지만, 여전히 사람의 수작업을 그대로 따라 하는 경우가 많다. 스프레드시트의 셀을 하나씩 입력하거나, 특정 함수를 찾기 위해 셸에서 파일 수천 줄을 모두 출력하는 식이다. 이런 비효율은 모델의 능력만으로 설명되지 않는다. 사람이 사람을 위해 만든 인터페이스가 에이전트의 더 효율적인 행동을 막고 있을 수 있다.

Hugging Face Daily Papers에 소개된 ‘Evolving Agent Interfaces’는 인터페이스 설계 자체를 에이전트의 능력으로 다뤄야 한다고 제안한다. 논문이 소개한 Agent S4는 작업을 수행하는 데 그치지 않고, 작업 경험을 바탕으로 에이전트용 인터페이스를 만들고 계속 개선한다.

작동 방식: 행동 기록에서 도구를 개선하다

Agent S4에는 연구를 담당하는 메타 에이전트가 있다. 이 메타 에이전트는 태스크 에이전트가 합성 학습 작업에서 남긴 행동 궤적을 살펴보고, 비효율적인 조작과 더 적절한 도구 조합을 찾는다. 그런 다음 인터페이스를 새로 만들거나 수정하고, 언제 사용해야 하는지에 대한 지식을 저장소에 기록한다. 명시적인 성공 라벨 없이 궤적 자체에서 개선 기회를 찾는다는 점이 핵심이다.

이후 여러 저장소를 집단 기반 진화 방식으로 발전시킨다. 각 후보는 메타 에이전트가 보지 못한 검증 작업에서 평가되며, 성능이 좋은 저장소가 다음 발전 단계로 선택된다. 이는 학습에 사용한 작업만 맞추는 변화보다, 새로운 작업에도 이전될 수 있는 인터페이스 변화를 우선하기 위한 설계다.

결과: 모델을 바꾸지 않아도 성능이 달라진다

OSWorld V2에서 Agent S4는 Qwen3.8-27B와 진화한 인터페이스 저장소를 결합해 21.3%의 binary score를 기록했다. 논문은 이를 고정 인터페이스를 사용한 같은 모델보다 3.8배 높은 결과로 제시한다. 또한 비교 대상으로 제시된 GPT-5.5와 Claude Opus 4.8보다 높은 수치이며, 비용은 각각 약 4.3%와 1.5% 수준이라고 보고한다.

ScienceBoard에서도 모델을 그대로 유지한 상태에서 성공률이 41.4%에서 58.6%로 상승했다. 이는 인터페이스 진화가 일반적인 데스크톱 조작뿐 아니라 과학 소프트웨어를 사용하는 작업에도 도움을 줄 가능성을 보여준다.

의미와 남은 과제

이 연구는 에이전트 성능 향상의 방향을 더 큰 모델로만 한정하지 않는다. 적절한 인터페이스는 여러 번의 클릭을 하나의 고수준 작업으로 줄이고, 코드·셸·그래픽 인터페이스 중 무엇을 사용할지 더 일찍 판단하도록 도울 수 있다. 모델 능력, 도구 설계, 도구 선택 지식을 함께 최적화할 수 있는 새로운 공간이 열리는 셈이다.

다만 제공된 요약만으로는 구체적인 인터페이스 구현과 더 다양한 실제 업무에서의 안정성을 확인하기 어렵다. 보지 못한 검증 작업에서의 성과는 긍정적이지만, 실제 배포에서는 안전 제어, 잘못된 조작의 비용, 서로 다른 소프트웨어 환경으로의 이전이 과제로 남는다. 앞으로의 컴퓨터 사용 에이전트는 도구를 사용하는 것을 넘어, 자신에게 맞는 도구를 설계하는 과정에도 참여할 수 있다.

출처: Hugging Face Daily Papers