StateM, 모델을 바꾸지 않고 에이전트 정확도 95.3% 달성

들어가며

긴 작업을 수행하는 에이전트는 각 단계의 문제를 풀 수 있는 모델을 사용하고도 전체 과제에서 실패할 수 있다. 실행 중 바뀐 환경 상태를 놓치거나, 이전 실행에서 얻은 교훈을 다시 불러오지 못하거나, 이미 검증된 절차를 건너뛰거나, 작업이 끝나기 전에 멈추는 일이 발생하기 때문이다. StateM 논문은 이 문제를 모델 가중치의 개선이 아니라 모델 주변의 실행 시스템을 확장하는 방식으로 다룬다. 연구진이 말하는 ‘harness scaling’이다.

핵심 내용

• 지속 상태를 실행의 기준으로 삼는다. StateM은 작업을 durable states로 구성하고 컨텍스트를 단계별로 분리한다. 긴 실행 과정에서 현재 상태와 과거 정보를 혼동하는 문제를 줄이려는 설계다.
• 상태 전이를 확인하고 복구한다. 런타임은 검사된 전이와 복구 가능한 runbook을 사용한다. 에이전트가 행동을 연속적으로 생성하는 데 그치지 않고, 다음 단계의 전제조건이 충족됐는지 확인하도록 만든다.
• 실패의 교훈을 실행 가능한 규칙으로 바꾼다. 사후 분석 결과는 버전 관리되는 procedural practices와 golden rules로 정리된다. 에이전트와 사용자가 같은 통제 항목을 함께 확인할 수 있다는 점도 중요하다.
• Terminal-Bench에서 큰 폭으로 향상됐다. GPT-5.5 xhigh는 기준 구성의 83.1%에서 92.1%로 상승했다. 같은 runbook은 GPT-5.6에 수정 없이 이전됐다. GPT-5.6 Sol xhigh는 445회 시험에서 95.3% 원시 정확도를 기록했고, 89개 과제 모두에서 최소 한 번 성공했다.
• 여러 모델로 효과가 이어졌다. 고정 프로필을 적용한 GPT-5.6 Luna는 76.7%에서 85.4%로 개선됐다. 같은 런타임과 runbook 구조, 규칙을 사용한 DeepSeek-V4 Flash도 표준 타임아웃에서 82.7%에서 88.1%로, 공통 88개 과제에서는 89.1%로 올라갔다.
• 비용 차이도 제시됐다. 최종 점수 산출에 필요한 API 사용 비용은 StateM 측이 약 15달러, GPT 기준 실행이 574.68달러였으며 DeepSeek의 총 지출은 52.22달러로 보고됐다. 이는 해당 실험 설정의 수치이며 모든 배포 환경에 적용되는 가격은 아니다.

의미와 한계

StateM의 핵심 의미는 에이전트 성능 확장의 대상을 모델 하나로 한정하지 않는 데 있다. 상태 관리, 절차 준수, 오류 복구, 경험 재사용을 실행 계층의 기능으로 분리하면 기반 모델이 바뀌어도 일부 제어 로직을 재사용할 수 있다. 특히 터미널 조작이나 장시간 코딩처럼 중간 상태가 결과를 좌우하는 작업에서 이런 접근은 실용적인 의미를 갖는다.

BusinessBench 결과는 규칙의 일반화 조건도 보여준다. 개발 세트로 만든 작업군별 runbook은 보류된 평가에서 매크로 점수 0.55점, 마이크로 점수 1.34점의 향상을 냈다. 실행 메커니즘이 일치하는 두 작업군에서는 10.04점의 개선이 나타났다. 즉 구체적인 규칙은 모든 작업에 무조건 적용되는 것이 아니라, 실행 구조를 공유하는 과제에서 더 잘 일반화된다.

다만 95.3%는 특정 벤치마크와 모델, 런타임, 실험 조건에서 나온 결과다. 이를 범용 자율성의 증명으로 확대해석해서는 안 된다. StateM은 실패에서 얻은 지식을 명시적이고 검증 가능하며 버전 관리되는 통제로 바꾸는, 감사 가능한 에이전트 실행 기반으로 이해하는 편이 정확하다.

출처: Hugging Face Daily Papers