BELIEFWEAVER, 장기 에이전트의 실패 복구 방식을 바꾸다

들어가며

장기 작업을 수행하는 에이전트의 실패는 특정 명령을 몰라서만 발생하지 않는다. 화면에 나타난 오류가 실제로는 몇 단계 전의 잘못된 선택에서 비롯되는 경우가 많기 때문이다. 최근 관찰만 보고 반성하는 에이전트는 원인보다 증상에 반응하고, 이미 실패한 경로를 반복하거나 근거 없이 과거 상태로 되돌아갈 수 있다.

IntelligenceLab 연구팀은 이러한 문제를 일회성 자기반성의 문제가 아니라, 지속적인 상태 관리와 미래 예측의 문제로 다루는 BELIEFWEAVER를 제안했다. 논문 페이지에 공개된 자료에 따르면 이 연구는 터미널 환경의 장기 에이전트 작업을 대상으로 하며, 세 개의 벤치마크에서 평가를 진행했다.

핵심 작동 방식

• 여러 시도에 걸쳐 증거를 보존한다. BELIEFWEAVER는 작업 프런티어, 시도, 관찰, 체크포인트를 관계형 믿음 상태로 묶는다. 한 번의 시도에서 얻은 실행 증거는 롤백하거나 새 시도를 시작한 뒤에도 관련 프런티어의 우선순위를 조정하는 데 활용된다.
• 진단과 실행을 분리한다. 이상이 발견됐다고 해서 곧바로 다음 명령을 내리는 것이 아니다. 진단 증거를 통해 어떤 복구 방향이 타당한지 먼저 판단한 뒤 실행을 진행한다.
• 복구 방향을 미리 평가한다. 암묵적 세계 모델(IWM)은 단순히 다음 행동을 예측하는 데 그치지 않고, 여러 복구 가설이 어느 정도의 진척을 가져올지 비교한다. 또한 프런티어 사이의 관계를 찾아 탐색 우선순위를 정한다.
• 추론을 더 작은 모델로 옮긴다. 연구팀은 지도 미세조정과 온폴리시 증류를 사용해 반복적으로 등장하는 IWM 추론 요소를 9B 학생 모델에 학습시켰다. 목표는 교사 모델 호출을 줄이면서 복구 능력을 유지하는 것이다.

결과와 의미

논문은 세 개의 터미널 기반 벤치마크에서 BELIEFWEAVER가 기본 Terminus-2 continuation보다 집계 최종 점수를 5.1%포인트 높였고, 탐색 효율에서도 긍정적인 경향을 보였다고 보고한다. 증류된 9B 학생 모델은 논문에 제시된 기본 기준선보다 최종 점수를 9.8%포인트 높였으며, 대응하는 교사 모델과 비교했을 때 추정 교사 API 비용을 54.8% 줄였다. 다만 제공된 자료만으로는 각 벤치마크의 이름과 세부 실험 조건을 확인할 수 없다.

이 연구의 중요한 시사점은 에이전트 메모리를 단순한 대화 기록이나 긴 컨텍스트로 보지 않는다는 점이다. 실패 복구를 위해서는 어떤 증거가 어떤 작업 분기와 관련되는지, 어느 체크포인트를 신뢰할 수 있는지, 특정 복구 행동이 이후 진행을 바꿀 가능성이 있는지를 함께 관리해야 한다. 터미널 조작과 코드 실행처럼 초기의 작은 실수가 뒤의 여러 단계를 무효화할 수 있는 환경에서 특히 의미가 있다.

현재 검증은 터미널 작업에 집중되어 있으며, 시각 환경이나 개방형 세계, 로봇 작업으로의 일반화 가능성은 아직 확인해야 한다. 그럼에도 BELIEFWEAVER는 에이전트가 단순히 “무슨 일이 있었는가”만 저장하는 것이 아니라 “왜 실패했는가, 어느 분기가 유망한가, 다음에 무엇을 시도할 것인가”를 지속적으로 관리해야 한다는 설계 방향을 보여준다.

출처: Hugging Face Daily Papers