MintAct: 디지털 환경을 아우르는 통합 비주얼 에이전트

들어가며

디지털 환경에서 작동하는 에이전트는 화면의 버튼이나 창 위치를 찾는 것만으로는 충분하지 않습니다. 목표를 달성하기 위해 여러 조작을 연속으로 수행하고, 필요하면 시각적 도구도 사용해야 합니다. 지금까지는 모바일, 데스크톱, 웹처럼 특정 환경에 특화된 모델을 따로 만드는 접근이 흔했습니다. 이런 방식은 단일 영역 최적화에는 유리하지만, 다른 환경으로 능력을 옮기거나 여러 모델을 관리하는 데 부담이 생깁니다. MintAct는 이 문제를 하나의 모델 계열로 다루려는 시도입니다.

핵심 내용

• 여러 상호작용 능력의 통합. UI grounding, 다단계 내비게이션, 시각적 도구 사용을 동일한 비전-언어 모델 계열에서 처리합니다.
• 세 가지 모델 규모. 2B, 4B, 8B 모델이 제시돼 서로 다른 용량에서 접근법을 평가할 수 있습니다.
• 이기종 환경 인프라. 모바일, 데스크톱, 웹용 백엔드에 수백 개의 동시 인스턴스를 운영하며 궤적 데이터 수집과 온라인 강화학습에 활용합니다.
• 도메인별 학습 분포 제어. 비동기 프레임워크가 각 환경에서 들어오는 데이터의 비중을 명시적으로 관리해 특정 도메인이 학습을 과도하게 지배하는 문제를 줄입니다.
• 불완전한 피드백 고려. 환경 피드백의 잡음과 오프폴리시 데이터 분포 변화 속에서도 학습을 안정적으로 유지하도록 설계했습니다.
• 보고된 벤치마크 성과. OSWorld-Verified에서 48.9점을 기록했고, 여러 벤치마크에서 비슷한 규모의 도메인 전문 모델과 맞먹는 성능을 보였다고 설명합니다.

의미와 한계

MintAct의 의미는 여러 작업을 하나의 모델 이름 아래 묶었다는 데만 있지 않습니다. 더 어려운 문제는 학습 과정 자체입니다. 많은 환경을 동시에 실행하고, 서로 다른 플랫폼에서 유용한 궤적을 모으며, 도메인별 데이터 품질과 양을 조절한 뒤, 온라인 경험을 학습에 안정적으로 반영해야 합니다. 연구진이 환경 구축과 비동기 강화학습을 주요 기여로 제시한 것은 비주얼 에이전트의 발전이 인식이나 추론 능력뿐 아니라 전체 학습 루프의 운영 안정성에도 달려 있음을 보여줍니다.

이 접근이 다양한 작업에서도 유지된다면 기기나 애플리케이션별로 별도 에이전트를 관리해야 하는 부담을 낮출 가능성이 있습니다. 그러나 현재 제공된 자료는 초록과 주요 벤치마크 결과에 한정돼 있습니다. 각 구성 요소가 성능에 기여한 정도, 학습 비용, 도메인별 실패 유형, 실제 배포 환경에서의 안정성은 확인하기 어렵습니다. 따라서 MintAct는 모든 디지털 조작 문제가 해결됐다는 증거라기보다, 여러 환경을 하나의 학습 체계로 연결하려는 유망한 방향을 보여주는 사례로 보는 편이 타당합니다.

Hugging Face Daily Papers