SoftwareGym, 합성 소프트웨어 환경으로 컴퓨터 사용 에이전트 훈련 확대

배경

컴퓨터 사용 에이전트(CUA)가 실제 업무를 수행하려면 화면에서 버튼을 찾는 능력만으로는 부족합니다. 낯선 인터페이스의 구조를 파악하고, 여러 단계의 작업을 계획하며, 중간 오류를 처리하고, 최종 결과가 제대로 반영됐는지 확인해야 합니다. 이를 학습하려면 다양하고 실행 가능하며 동작을 검증할 수 있는 소프트웨어 환경이 대량으로 필요합니다.

하지만 네이티브 애플리케이션 환경을 직접 만들고 통합하는 작업은 비용이 큽니다. 브라우저 기반 환경은 배포가 쉽지만, 복잡한 워크플로와 깊은 GUI 상호작용을 충분히 표현하지 못할 수 있습니다. 상하이자오퉁대 연구팀의 SoftwareGym은 이 문제를 자동화된 환경 생성으로 풀려는 접근입니다.

작동 방식

SoftwareGym의 파이프라인은 세 가지 단계로 이해할 수 있습니다.

• 다양한 설계 생성: 서로 다른 레이아웃과 인터랙션 구조를 가진 애플리케이션을 생성해 특정 UI 형식에 대한 과적합 위험을 줄입니다.
• 실행 가능한 앱 구현: 설계를 정적인 화면이나 단순한 모형이 아니라 기능을 수행하는 GUI 소프트웨어로 구현합니다.
• 실제 조작 기반 검증: 에이전트가 GUI에서 작업을 수행하도록 한 뒤 결과를 확인합니다. 문제가 발견되면 애플리케이션을 반복적으로 수정합니다.

연구팀은 이 방식으로 12개 범주에 걸친 182개 애플리케이션을 합성했습니다. 평균 GUI 작업 통과율은 91.5%였습니다. 같은 범주를 대상으로 120개 작업을 포함하는 평가 세트인 SoftwareGym-Bench도 함께 구축했습니다.

성능과 의미

연구진은 합성 환경에서 수집한 조작 궤적을 CUA 훈련에 사용했습니다. 그 결과 엄격한 도메인 외 벤치마크인 OSWorld에서 모델의 Pass@3가 41.39%에서 56.97%로 개선됐습니다. SoftwareGym-Bench에서는 40.0%를 기록했습니다. OSWorld가 훈련에 사용된 합성 환경과 다르다는 점을 고려하면, 모델이 특정 앱의 화면 배치를 암기한 것만이 아니라 인터페이스 이해와 작업 수행에 필요한 일반적인 패턴도 학습했을 가능성을 보여줍니다.

이 연구의 핵심 가치는 에이전트 환경을 만드는 방식을 바꾸려는 데 있습니다. 수작업 통합 방식은 애플리케이션 범위를 넓히기 어렵고, 적은 수의 익숙한 앱에 대한 과적합을 유발할 수 있습니다. SoftwareGym은 생성, 실행, 평가, 수정을 하나의 파이프라인으로 연결해 환경의 규모와 기능적 신뢰성을 함께 확보하려고 합니다.

다만 결과를 실제 소프트웨어에 그대로 일반화해서는 안 됩니다. 검증 단계의 높은 통과율이 합성 앱이 상용 업무 소프트웨어와 같은 복잡성을 가진다는 뜻은 아닙니다. SoftwareGym-Bench에서 40.0%를 기록했다는 사실도 에이전트가 여전히 많은 인터페이스와 작업 흐름에서 어려움을 겪는다는 점을 보여줍니다. 운영체제와 앱 종류를 넘나드는 평가, 더 긴 작업, 실제 사용에 가까운 조건에서의 검증이 추가로 필요합니다.

그럼에도 SoftwareGym은 컴퓨터를 직접 조작해야 하는 에이전트에 합성 소프트웨어를 확장 가능한 학습 신호로 제공할 수 있다는 실용적인 방향을 제시합니다.

출처: Hugging Face Daily Papers