MobilePA-Bench, 복잡한 실제 작업으로 모바일 에이전트를 검증하다

모바일 에이전트가 화면에서 버튼을 찾고 누를 수 있다고 해서 실제 업무를 끝까지 처리할 수 있는 것은 아닙니다. 여러 앱을 오가는 요청에는 적절한 도구 선택뿐 아니라 정확한 실행 순서, 권한, 변화하는 앱 상태에 대한 대응이 필요합니다. 도중에 오류가 발생하면 이전 행동의 결과를 해석하고 계획을 수정해야 합니다. MobilePA-Bench는 이런 현실적인 조건을 평가의 중심으로 가져옵니다.

기존 벤치마크의 빈틈

모바일 에이전트 평가에는 크게 두 가지 접근이 있었습니다. GUI 중심 벤치마크는 화면 이해와 탭, 입력, 스크롤 같은 조작 능력을 확인하지만 백그라운드 도구 사용이나 긴 작업의 계획 능력을 충분히 다루지 못합니다. 정적 함수 호출 벤치마크는 요청에 맞는 API를 선택하는지를 측정하지만, 실제 애플리케이션 상태, 도구 실행 순서, 권한 제약, 런타임 오류와는 분리되어 있습니다.

MobilePA-Bench는 실행 가능한 모바일 샌드박스 안에서 에이전트를 평가합니다. 이 환경은 실시간 애플리케이션 데이터베이스를 유지하고, 행동이 실행될 때 구조화된 피드백을 반환합니다. 따라서 각 단계는 독립적인 정답 맞히기가 아닙니다. 앞선 행동이 다음 상태와 선택을 바꾸는 상태 기반 작업입니다. 벤치마크는 13개 기능 영역과 212개의 현실적인 모바일 도구를 포함합니다.

무엇을 측정하나

• 인터랙티브 도구 사용: 도구 이름을 고르는 데서 끝나지 않고 인자를 구성하며 실제 응답에 따라 다음 행동을 결정합니다.
• 장기 계획: 여러 단계에 걸쳐 작업 의존성과 순서를 유지해야 합니다.
• 서브에이전트 협업: 복잡한 요청을 분해하고 전문 작업을 적절한 서브에이전트에 위임합니다.
• 메모리 사용: 저장된 기억, 사용자 프로필, 과거 선호를 활용해 명시되지 않은 의도를 해석합니다.
• 스킬 사용: 매번 전체 절차를 처음부터 계획하는 대신 사전에 구성된 복합 스킬을 호출합니다.

이 구성은 단일 도구 호출의 정확도보다 계획, 실행, 피드백 해석, 오류 대응이 하나의 순환 구조로 이어지는지를 봅니다.

실험이 보여주는 현실

논문 초록에 따르면 현재 최전선 LLM은 모바일 환경에서 여전히 불안정합니다. 도구 호출 순서를 엄격히 지켜야 하거나, 권한 제한이 적용되거나, 예상하지 못한 런타임 오류가 발생하면 성능이 급격히 하락합니다. 이상적인 함수 호출 테스트에서 좋은 결과를 얻는 것과 상태가 계속 변하는 운영체제에서 안정적으로 작업을 완료하는 것은 다르다는 뜻입니다.

문제는 단순한 도구 지식 부족만이 아닙니다. 에이전트는 중간 결과를 확인하고, 메모리나 복합 스킬을 언제 사용할지 판단하며, 서브에이전트의 결과를 검증하고 통합해야 합니다. 계획 자체가 합리적이어도 상태 확인이나 오류 복구에 실패하면 전체 작업이 중단될 수 있습니다.

의미와 영향

MobilePA-Bench는 평가의 초점을 화면 조작에서 애플리케이션 상태, 도구 생태계, 런타임 제약으로 확장합니다. 연구자에게는 모바일 계획 시스템을 비교할 수 있는 더 현실적인 시험대가 되고, 개발자에게는 권한 관리, 상태 동기화, 호출 순서, 오류 복구를 핵심 설계 요소로 보게 합니다. 사용자 관점에서도 개인용 코파일럿의 기준은 매끄러운 시연이 아니라 불확실한 환경에서의 작업 완료율이어야 합니다.

제공된 소재에는 모델별 상세 점수와 작업별 분석이 포함되어 있지 않습니다. 따라서 각 능력의 기여도나 모델 간 격차를 구체적으로 판단하려면 논문 전문이 필요합니다. 다만 연구의 방향은 분명합니다. 모바일 에이전트의 다음 과제는 화면을 잘 누르는 것이 아니라, 환경이 바뀌고 오류가 생겨도 일관된 계획으로 업무를 끝내는 것입니다.

Hugging Face Daily Papers