iPrefBench, 모바일 에이전트가 언제 추론하고 물어야 하는지 평가

들어가며

스마트폰에서 버튼을 누르고, 양식을 작성하고, 여러 앱을 오가며 작업할 수 있다고 해서 에이전트가 사용자를 제대로 대리하는 것은 아니다. 실제 요청은 자주 불완전하다. 사용자는 누구에게 메시지를 보낼지, 어떤 선호를 적용할지, 여러 가능한 선택지 중 무엇을 고를지 명확히 말하지 않을 수 있다.

이런 상황에서 에이전트는 과거 사용 기록으로 보완할 수 있는 정보와 사용자에게 직접 확인해야 하는 정보를 구분해야 한다. iPrefBench는 바로 이 판단을 평가하기 위해 제안된 벤치마크다. 실행 가능한 iOS 환경과 상호작용형 시뮬레이션 사용자를 활용해, 에이전트가 단순히 절차를 수행하는 데 그치지 않고 특정 사용자에게 맞는 결과를 만들 수 있는지 확인한다.

핵심 내용

• 일관된 사용자 기록으로 개인화를 검증한다. 벤치마크는 하나의 일관된 페르소나와 3,051개의 과거 활동 이벤트를 제공한다. 에이전트가 일반적인 상식이 아니라 사용자 고유의 근거를 활용하는지 평가할 수 있다.
• 여러 모바일 앱의 불완전한 작업을 다룬다. 26개 앱에 걸친 130개의 작업이 포함되며, 각 작업에서 빠진 사용자 의존 조건은 기록으로 추론할 수 있거나 사용자에게 질문해야만 알 수 있도록 설계됐다.
• 실행과 대화를 함께 측정한다. 화면 조작을 완료했는지만 보지 않고, 최종 결과가 해당 사용자에게 올바른지와 필요한 순간에 사용자 입력을 요청했는지도 평가한다.
• 높은 조작 점수가 개인화를 의미하지는 않는다. 7개 최첨단 에이전트 가운데 최고 행동 완료율은 91.6%였지만, 전체 작업 성공률의 최고치는 47.7%였다. 즉, 절차는 올바르게 수행해도 사용자를 위한 결정은 틀릴 수 있다.
• 질문해야 하는 정보가 특히 어렵다. 에이전트는 사용자만 제공할 수 있는 정보를 충분히 요청하지 못하는 경향을 보였다. 이는 자율 실행을 멈추고 확인해야 할 시점을 판단하는 일이 여전히 어렵다는 뜻이다.

의미와 영향

이 연구는 모바일 에이전트 평가의 초점을 GUI 조작 능력에서 더 넓은 대리 능력으로 확장한다. 모든 세부 사항을 되묻는 비서는 번거롭고, 모르는 정보를 조용히 추정하는 비서는 잘못된 결과를 만들 수 있다. 신뢰할 수 있는 시스템은 사용자 기록에 기반한 추론과 명시적 확인 사이의 경계를 설정하고, 결과에 실제로 영향을 주는 질문만 해야 한다.

iPrefBench의 가치는 순위를 매기는 데만 있지 않다. 실패가 관련 기록을 찾지 못해서인지, 선호를 잘못 해석해서인지, 작업 계획이 부적절해서인지, 아니면 질문 시점을 놓쳐서인지 구분하는 데도 도움을 준다. 이렇게 실패 원인을 나누면 모든 문제를 단순한 조작 오류로 취급하지 않고 에이전트의 약점을 구체적으로 분석할 수 있다.

모바일 에이전트가 자동화 도구에서 진정한 개인 비서로 발전하려면 앱 조작, 사용자 기록 활용, 간결한 확인 대화 능력을 함께 개선해야 한다. iPrefBench는 자율성과 사용자 통제 사이의 균형을 연구하고, 이러한 능력을 비교할 수 있는 구체적인 평가 환경을 제공한다.

출처: Hugging Face Daily Papers