LongHorizon-Harness: 장기 작업 에이전트를 상태 관리 문제로 다시 보다

들어가며

LLM 에이전트가 단순 질의응답을 넘어 실제 작업에 가까운 장기 과제를 수행하려면, 한 번의 답변보다 더 어려운 문제가 등장한다. 여러 단계에 걸쳐 목표를 유지하고, 도구를 호출하며, 중간 결과를 확인하고, 필요하면 계획을 수정해야 한다. LongHorizon-Harness는 이런 장기 실행 과정에서 흔히 발생하는 상태 관리 문제에 초점을 맞춘다.

기존 에이전트 하네스에서는 작업 실행 기록, 현재 상태, 완료 여부 판단이 하나의 커지는 컨텍스트 안에 함께 쌓이는 경우가 많다. 이 방식은 간단해 보이지만, 시간이 지날수록 어떤 정보가 실제 환경에서 확인된 사실이고 어떤 정보가 모델의 자기 판단인지 구분하기 어려워진다. 잘못된 자기 평가가 컨텍스트에 남으면 이후 결정까지 오염될 수 있다.

핵심 내용

• 상태의 외부화: LongHorizon-Harness는 작업 상태를 실행 컨텍스트 밖에서 명시적으로 관리한다.
• 검증된 사실만 반영: 상태 업데이트는 환경에서 독립적으로 확인된 사실에 기반한다.
• Manage-Execute-Audit 루프: Manager는 상태를 유지하고 다음 하위 작업을 정한다. Executor는 새로운 컨텍스트에서 작업을 수행한다. 읽기 전용 Auditor는 환경 상태를 검증한 뒤 다음 라운드로 넘긴다.
• 오류 전파 완화: 실행자의 자기 보고가 곧바로 전체 상태가 되지 않기 때문에, 잘못된 완료 판단이 뒤따르는 단계에 영향을 줄 가능성을 낮춘다.
• 백엔드 호환성: 경량 AgentAdapter를 통해 기존 모델이나 하네스의 네이티브 에이전트 루프를 크게 바꾸지 않고 연결할 수 있다.

공개된 결과도 눈에 띈다. LongHorizon-Harness는 Qwen 3.7-Plus를 WeaveBench에서 51.8%에서 80.7%로, Terminal-Bench 2.1에서 69.7%에서 77.2%로, OSWorld 2.0에서 2.8%에서 8.3%로 끌어올렸다. 또한 Claude Opus 4.7은 OSWorld 2.0 일부 평가에서 20.0%에서 34.3%로 향상됐다.

의미와 영향

이 작업의 의미는 벤치마크 점수 상승에만 있지 않다. 장기 작업 에이전트가 안정적으로 동작하려면, 모델의 추론 능력뿐 아니라 신뢰할 수 있는 작업 상태와 검증 절차가 필요하다는 점을 보여준다. 컨텍스트 창을 키우는 것만으로는 검증되지 않은 가정이나 잘못된 진행 보고가 누적되는 문제를 해결하기 어렵다.

LongHorizon-Harness는 에이전트 바깥에 작업 장부와 감사 계층을 두는 설계에 가깝다. Executor는 현재 하위 작업에 집중하고, Manager는 전체 진행 상황을 관리하며, Auditor는 실제 환경이 기대한 대로 바뀌었는지 확인한다. 이런 역할 분리는 터미널 작업, 웹 상호작용, 데스크톱 환경처럼 작은 오해가 긴 실패로 이어질 수 있는 영역에서 특히 중요하다.

물론 실제 적용에서는 비용, 지연 시간, 감사자의 신뢰도 같은 추가 문제가 남는다. 그럼에도 이 연구는 장기 에이전트의 다음 과제가 단순히 더 강한 모델을 쓰는 것이 아니라, 상태를 어떻게 유지하고 검증하며 오류 전파를 어떻게 막을 것인가에 있음을 잘 보여준다.

Source: Hugging Face Daily Papers