컴퓨터 사용 에이전트는 왜 복구에 실패하는가: ReTrace의 평가 프레임워크

들어가며

컴퓨터 사용 에이전트는 키보드와 마우스 조작을 통해 웹과 데스크톱 환경의 세밀한 작업을 자동화하고 있다. 그러나 짧은 시연에서 성공했다고 해서 긴 작업 흐름에서도 안정적이라고 보기는 어렵다. 한 번의 잘못된 클릭이 화면 상태를 바꾸거나 잘못된 데이터를 입력하게 만들고, 새로고침으로 제거하기 어려운 부작용을 남길 수 있기 때문이다. 이런 상황에서 에이전트는 다음 행동만 고르는 것이 아니라, 목표에서 얼마나 벗어났는지 파악하고 작업을 다시 이어갈 수 있는 상태로 돌아가는 방법까지 찾아야 한다.

논문 ‘Lost in Recovery’는 그동안 상대적으로 덜 다뤄진 이 문제를 평가 대상으로 삼는다. 저자들은 컴퓨터 사용 에이전트의 자율적 모델 기반 복구를 체계적으로 연구하기 위해 ReTrace를 제안하고, 목표 지향적 행동 리플레이를 통해 복구가 실제로 기능했는지 확인한다.

핵심 내용

• 복구는 마지막 행동을 단순히 되돌리는 일이 아니다. 독점 소프트웨어 환경에서는 초기화가 불가능할 수 있고, 긴 작업의 모든 행동을 다시 실행하는 데는 비용이 든다. API 기반 롤백도 주로 웹 환경에 한정된다. 따라서 실제 에이전트는 이미 부작용이 생긴 상태에서 복구해야 한다.
• 복구 품질은 이후 행동으로 평가해야 한다. ReTrace는 ‘전이 일관 복구’를 정의한다. 복구된 상태에서 동일한 후속 행동을 실행했을 때 목표 상태에서 실행한 경우와 같은 결과가 나와야 한다는 뜻이다. 화면이 그럴듯하게 보이는지보다, 작업을 동등하게 계속할 수 있는지가 핵심 기준이 된다.
• 목표 지향적 리플레이는 숨은 손상을 드러낸다. 연구는 통제된 오류를 주입한 뒤 복구 상태와 목표 상태에서 후속 작업을 비교한다. 이를 통해 겉보기에는 정상으로 돌아온 것처럼 보여도 남아 있는 상태 차이나 부작용을 확인할 수 있다.
• 작업 능력과 복구 능력은 다르다. 연구 결과에 따르면 이상적인 복구는 모델이 원래 갖고 있던 작업 완료 능력을 끌어낼 수 있다. 하지만 현재의 컴퓨터 사용 에이전트는 상태 이탈을 진단하고 복구 전략을 선택한 뒤 기존 계획에 재진입하는 능력을 충분히 활용하지 못한다.
• 정확한 복구는 전체 성능을 높인다. 모델 기반 복구가 정확해질수록 최종 작업 성과도 측정 가능한 수준으로 개선된다. 복구는 부가적인 예외 처리 기능이 아니라 신뢰할 수 있는 에이전트의 핵심 역량이라는 의미다.

의미와 영향

ReTrace의 가장 중요한 기여는 복구 성공의 기준을 바꾼 데 있다. 경고 메시지를 없애거나 익숙한 화면으로 돌아왔다고 해서 올바른 상태가 된 것은 아니다. 목표 상태에서 수행했을 때와 같은 후속 행동이 같은 결과를 낼 때 비로소 복구가 작업 관점에서 성립한다. 이 기준은 모델과 환경을 비교하는 평가에도 더 명확한 틀을 제공한다.

시스템 설계 측면에서는 오류 탐지, 상태 추정, 복구 계획, 작업 재개를 서로 분리된 사후 기능으로 취급해서는 안 된다. 긴 작업을 평가할 때도 최종 성공률만 볼 것이 아니라, 오류 주입 후의 복구 가능성, 복구 이후 행동의 일관성, 복구가 전체 완료율에 기여한 정도를 함께 기록해야 한다.

제공된 자료만으로는 실행 취소, 우회, 재계획 중 어떤 전략이 다양한 소프트웨어 환경에서 가장 좋은지 판단할 수 없다. 앞으로는 되돌릴 수 없는 행동 전에 복구 여지를 확보하는 방법과 오류를 조기에 진단하는 방법도 연구해야 한다. 결국 컴퓨터 사용 에이전트의 신뢰성은 얼마나 적게 실패하는가뿐 아니라, 실패한 뒤 작업을 올바른 궤도로 되돌릴 수 있는가에 달려 있다.

출처: Hugging Face Daily Papers