OpenMobile-2, 개방형 환경과 네이티브 도구로 모바일 에이전트 고도화

개요

모바일 에이전트가 여러 앱을 넘나드는 작업이나 긴 절차를 안정적으로 수행하려면 모델 성능만으로는 부족합니다. 다양한 앱과 반복 가능한 초기 상태, 작업 결과를 확인하는 방법, 대규모 학습 데이터가 함께 필요합니다. OpenMobile-2는 이러한 연구 인프라를 하나의 개방형 스택으로 구성하는 데 초점을 맞췄습니다.

핵심 내용

• 확장 가능한 모바일 환경. MobileGym++는 기능이 풍부한 상용 앱 스타일 앱 35개로 구성됩니다. 앱 간 워크플로를 지원하면서도 환경을 초기화하고 결과를 검증할 수 있어, 대규모 데이터 합성과 강화학습에 적합합니다. 구성된 Android 에뮬레이터 앱까지 더하면 전체 공간은 110개 이상의 앱을 포함합니다.
• 대규모 학습 데이터. 지도 미세 조정을 위해 약 1만 2000개의 모바일 상호작용 궤적을 정리했습니다. 또한 2000개가 넘는 실행 가능한 작업으로 구성된 검증 가능한 강화학습 데이터를 제공하며, 자동 보상으로 작업 완료 여부를 판단합니다.
• GUI와 네이티브 도구의 결합. 에이전트는 탭, 스와이프, 텍스트 입력 같은 GUI 조작만 사용하는 대신, 앱의 일부 기능을 제한된 네이티브 도구로 호출할 수 있습니다. 하나의 작업 안에서 GUI 행동과 도구 호출을 번갈아 수행할 수 있으며, MobileGym++에는 50개가 넘는 앱에 걸쳐 300개 이상의 도구가 구현됐습니다.
• 장기 작업 평가. MobileGym++ Bench는 복잡한 상용 앱 스타일 시나리오를 다루며, 동일한 작업 세트에서 GUI 전용 방식과 GUI·도구 혼합 방식을 모두 평가할 수 있습니다.

결과와 의미

OpenMobile-2는 AndroidWorld에서 79.9점, MobileWorld에서 50.4점을 기록했습니다. 실제 기기 모바일 작업을 평가하는 SPA-Bench에서는 31.9점에서 59.6점으로 높아져 보고된 성능이 거의 두 배가 됐습니다. 이는 모바일 에이전트의 성능 개선에서 모델 구조뿐 아니라 환경의 다양성, 결과 검증이 가능한 데이터, 유연한 행동 인터페이스가 중요할 수 있음을 보여줍니다.

이 프로젝트의 핵심적인 의미는 모델과 함께 환경, 데이터, 학습 방법, 벤치마크를 연결된 자원으로 공개했다는 점입니다. 연구자는 기존 실험을 재현하거나 새로운 장기 워크플로를 만들기 쉬워집니다. GUI와 네이티브 도구의 혼합 방식은 시각적 맥락을 이해해야 하는 단계에서는 GUI를 사용하고, 명확하게 정의된 기능에는 도구를 호출하는 식으로 두 접근법의 장점을 결합할 가능성을 제시합니다.

다만 시뮬레이션된 상용 앱 스타일 환경이 실제 앱의 모든 변동성을 재현하는 것은 아닙니다. 도구 권한의 범위, 앱 간 상태 변화, 긴 작업에서 오류가 누적되는 문제도 남아 있습니다. 실제 기기로의 전이는 유망하지만, 통제된 환경 밖에서의 견고성을 판단하려면 더 폭넓은 검증이 필요합니다.

출처: Hugging Face Daily Papers