LEASH, 불확실성으로 컴퓨터 사용 에이전트를 선택적으로 강화

배경

컴퓨터 사용 에이전트는 짧은 명령 수행을 넘어 여러 애플리케이션과 화면을 오가는 장기 작업으로 확장되고 있습니다. 이런 작업에서 매 단계마다 프런티어 모델을 사용하면 안정성은 높아질 수 있지만 추론 비용이 커집니다. 반대로 소형 오픈 웨이트 모델만 사용하면 익숙하지 않은 화면이나 연속적인 판단이 필요한 상황에서 오류가 늘어날 수 있습니다.

LEASH는 이 두 선택지 사이에서 동적으로 모델을 배치하는 방법을 제안합니다. 기본적으로는 약한 에이전트가 작업을 수행하고, 현재 상태가 위험해질 때만 강한 에이전트를 호출합니다. 특히 강한 모델로 인계한 뒤에도 문제가 끝나지 않는다는 점을 고려합니다. 강한 모델이 블랙박스 API로 제공되면 외부 시스템이 내부 추론 상태를 직접 확인하기 어렵기 때문입니다.

세 단계의 제어 방식

LEASH는 불확실성을 이용해 다음 세 층위에서 에이전트를 제어합니다.

• 작업 초기 라우팅: 실행 전에 작업이 약한 에이전트의 능력을 넘어설 가능성을 추정합니다. 복잡한 작업이라면 초기에 강한 모델로 보낼 수 있습니다.
• 단계별 에스컬레이션: 약한 에이전트가 행동을 생성하는 과정에서 이미 계산한 활성값을 재사용해 현재 상태의 불확실성을 확인합니다. 별도의 순전파나 전용 모니터 학습이 필요하지 않습니다.
• 인계 후 감독: 강한 에이전트가 제어권을 얻은 뒤 약한 모델은 섀도 오버서버 역할을 수행합니다. 관찰 가능한 행동과 환경 변화를 바탕으로 강한 에이전트가 작업 맥락을 놓치고 있는지 판단하고, 필요하면 추가적인 제어를 유도합니다.

불확실성 신호는 약한 모델의 잠재 표현에서 얻습니다. 현재 숨은 상태를 과거에 성공한 궤적과 실패한 궤적에서 수집한 상태와 비교하고, 실패 사례에 더 가까울수록 위험이 높다고 판단합니다. 따라서 LEASH는 별도의 불확실성 모델을 처음부터 훈련하는 대신, 행동 생성에 이미 사용된 내부 표현을 경량 위험 신호로 활용합니다.

실험 결과

연구진은 OSWorld에서 네 가지 최신 모델 백본을 사용해 LEASH를 평가했습니다. 논문 초록에 따르면 에스컬레이션 비율을 동일하게 맞춘 조건에서 LEASH는 무작위 에스컬레이션보다 6.55~11.94포인트 높은 성능을 보였습니다. 약한 에이전트만 사용하는 방식보다도 일관되게 나은 결과를 기록했습니다.

Qwen3.5-35B-A3B를 사용한 설정에서는 작업당 비용 0.4117달러로 73.66%의 작업 성공률을 달성했습니다. 항상 Claude Opus 5를 사용하는 방식의 성공률 72.90%에 맞먹으면서 추론 비용은 19.2% 낮췄다는 결과입니다. 이는 강한 모델을 항상 켜 두는 대신, 실패 가능성이 높은 순간에만 계산 자원을 집중하는 전략의 효과를 보여줍니다.

의미와 한계

LEASH의 가장 큰 의미는 모델 선택을 고정된 배포 결정이 아니라 실행 중 위험 관리 문제로 본다는 데 있습니다. 약한 모델은 빈번하고 상대적으로 쉬운 단계를 맡고, 강한 모델은 어려운 지점을 처리하며, 섀도 오버서버는 인계 이후의 감시를 담당합니다. 추가 학습을 요구하지 않는 설계는 서로 다른 에이전트와 모델 조합에 적용하기 쉽게 만들 수 있습니다.

다만 숨은 상태와 과거 궤적의 유사도가 실제 위험을 언제나 정확하게 나타내는 것은 아닙니다. 성공·실패 사례의 품질과 작업 분포에 따라 신호가 달라질 수 있습니다. 또한 블랙박스 강한 모델을 외부 행동만으로 감독하면 내부에서 발생한 모든 오류를 발견한다고 보장하기 어렵습니다. 따라서 LEASH는 에이전트의 정답성을 보장하는 해법이라기보다, 비용을 줄이면서 에스컬레이션과 감독을 체계화하는 운영 프레임워크로 보는 편이 타당합니다.

출처: Hugging Face Daily Papers