MAI-Gym, GUI 에이전트 평가·데이터 생성·강화학습 통합

들어가며

GUI 에이전트는 텍스트를 생성하는 것만으로는 작업을 수행할 수 없습니다. 화면을 관찰하고, 다음 조작을 선택하고, 변화하는 상태에 대응하며, 최종적으로 요청한 결과가 달성됐는지 확인해야 합니다. 이 때문에 GUI 에이전트의 온라인 강화학습은 수학이나 코드 작업보다 확장하기 어렵습니다. 환경을 실행하고 상호작용 상태를 유지해야 하며, 성공 여부도 안정적으로 판정해야 하기 때문입니다. Tongyi-MAI 팀이 공개한 MAI-Gym은 이런 문제를 환경, 작업 생성, 평가, 학습을 하나의 플랫폼으로 묶어 해결하려는 시도입니다.

하나의 파이프라인으로 연결된 작업

MAI-Gym은 평가, 데이터 수집, 온라인 강화학습에 동일한 롤아웃 파이프라인을 사용합니다. 학습과 평가에서 에이전트가 실행되는 방식을 맞출 수 있어, 훈련 환경과 테스트 환경의 차이에서 생기는 불일치를 줄이는 데 도움이 됩니다. 플랫폼은 모바일, 컴퓨터, 웹 환경을 아우르며 10개의 기존 벤치마크를 지원합니다. 또한 최대 20,000개의 환경 인스턴스를 병렬로 실행할 수 있도록 설계됐습니다.

환경 실행 외에 앱과 작업을 만드는 과정도 플랫폼에 포함됩니다. MAI-Gym은 초기 상태로 되돌릴 수 있는 모의 앱, 여러 앱을 연속해서 사용하는 작업, 실제 실행 결과를 코드로 검사하는 검증기를 합성할 수 있습니다. 공개 자료에는 49개의 시뮬레이션 앱, 실행 검증을 거친 2,000개의 작업, 재사용 가능한 합성 스킬이 포함됩니다. 이러한 검증기는 사람이 매번 결과를 확인하는 방식보다 일관된 보상 신호를 제공해 온라인 학습에 활용하기 쉽습니다.

MAI-Gym-9B의 성능

연구팀은 이 플랫폼을 이용해 모바일과 컴퓨터 사용을 하나의 모델로 처리하는 90억 파라미터 에이전트 MAI-Gym-9B를 학습했습니다. 100억 파라미터 미만의 오픈 GUI 에이전트 가운데 이 모델은 MobileWorld에서 78.4%, OSWorld-Verified에서 76.2%를 기록했습니다. 서로 다른 기기 영역을 공동 학습하는 방식이 여러 GUI 환경에서의 조작 능력 확보에 도움이 될 수 있음을 보여주는 결과입니다.

모의 환경에서 실제 환경으로의 이전 실험도 주목할 만합니다. 연구팀은 모의 열차 티켓 예매 앱에서 강화학습을 수행한 뒤, 대응하는 실제 앱을 물리 스마트폰에서 평가했습니다. 작업 성공률은 28.8%에서 48.1%로 향상됐습니다. 이 결과가 시뮬레이션이 실제 기기를 완전히 대체할 수 있다는 뜻은 아닙니다. 다만 적절하게 설계된 모의 앱이 실제 GUI 조작에 유용한 학습 신호를 제공할 수 있음을 시사합니다.

의미와 남은 과제

MAI-Gym의 핵심 가치는 환경 실행, 작업 합성, 보상 검증, 벤치마크 평가, 온라인 학습을 하나의 연구 흐름으로 연결한 데 있습니다. 프레임워크와 앱, 작업, 합성 스킬, 모델 체크포인트를 함께 공개함으로써 재현 실험과 방법 비교를 위한 기반도 제공합니다.

다만 결과는 제시된 벤치마크와 환경의 범위 안에서 해석해야 합니다. 모의 앱과 실제 소프트웨어는 상태 공간, 화면 변화, 오류 양상이 다를 수 있고, 여러 앱을 사용하는 작업이 현실의 모든 업무 흐름을 대표한다고 보기도 어렵습니다. 새로운 작업, 동적으로 변하는 인터페이스, 다양한 물리 기기에서의 안정성은 앞으로 검증해야 할 부분입니다. 그럼에도 초기화 가능한 환경으로 상호작용 비용을 낮추고, 실행 검증기로 보상 신뢰성을 높이며, 동일한 파이프라인으로 학습과 평가를 연결하는 접근은 GUI 에이전트 확장을 위한 실용적인 방향을 제시합니다.

출처: Hugging Face Daily Papers