StarHarness, 모델 가중치 고정한 채 기업용 에이전트 진화

기업용 에이전트의 실패를 더 큰 모델의 필요성으로만 해석하기는 어렵다. 모델이 문제를 추론할 수 있어도 도구의 인자와 스키마가 불명확하거나, 현장 고유의 운영 규칙이 문맥에 없거나, 작업 실행 순서가 적절하지 않으면 실제 환경에서 성과를 내기 어렵다. StarHarness는 이러한 주변 실행 구조를 harness라는 최적화 대상으로 다룬다.

무엇을 바꾸는가

StarHarness는 모델 가중치를 고정한 상태에서 특정 환경에 더 적합한 harness를 탐색한다. 변경 대상은 시스템 프롬프트에 머물지 않는다. 작업을 설명하는 방식, 도구 인터페이스와 스키마, 재사용 가능한 스킬, MCP 기반 제공자, 하위 에이전트 구조, 상태 관리, 컨텍스트 처리, agent loop 설정까지 포함한다.

이는 모델의 능력을 평가할 때 모델 자체뿐 아니라 모델이 어떤 도구와 절차를 통해 일하는지도 봐야 한다는 접근이다. 연구는 탐색 공간을 줄이고 특정 사례에 대한 과적합을 막기 위해 다음과 같은 구조를 사용한다.

• 실패 행동에 따른 층화: 기본 harness에서 작업이 어떻게 실패했는지에 따라 작업을 분류하고, 서로 다른 실패 유형을 포함하는 압축된 진화 풀을 구성한다.
• 제안과 선택의 분리: 변경안을 만드는 제안자가 볼 수 있는 탐색 작업과, 변경안을 검증하는 비공개 선택 작업을 구분한다.
• 홀드아웃 평가: 진화에 사용하지 않은 작업을 별도로 남겨 검색 대상 밖에서도 효과가 유지되는지 확인한다.

실험 결과

평가는 ITBench SRE, EnterpriseOps-Gym ITSM, AutomationBench Finance에서 진행됐다. 논문 초록에 따르면 환경별로 약 412개의 변경을 수용한 뒤, 진화한 harness는 기본 harness보다 전체 벤치마크 성능을 약 2035%포인트 높였다. 진화 과정에서 제외된 작업에서도 개선이 유지됐으며, GPT와 Qwen 모델 계열 사이에서도 별도 재진화 없이 효과가 이전됐다고 보고됐다. 프로젝트 설명에는 평가된 일부 조건에서 추론 비용이 17~53% 감소했다는 내용도 담겼다.

ITBench에서는 진화한 harness를 적용한 Qwen3.5-27B가 기본 scaffold에서 실행한 GPT-5.5보다 19.2포인트 높은 성능을 보였다는 비교가 제시됐다. 이것이 작은 모델이 일반적으로 더 강하다는 뜻은 아니다. 오히려 동일한 모델이라도 도구와 환경을 연결하는 방식에 따라 실제 에이전트 성능이 크게 달라질 수 있다는 점을 보여주는 사례다.

의미와 한계

실행 기록 분석은 인터페이스 수정, 환경별 관행, 운영 지식의 추가가 성능 향상과 관련 있다고 설명한다. 이러한 정보는 문제 해결 경로를 압축하고, 잘못된 진단을 줄이며, 일부 환경에서는 실행 궤적도 짧게 만들었다. 기업 배포 관점에서는 모델 교체에 앞서 도구 설계, 스키마, 컨텍스트 정책, 실행 제어를 개선하는 선택지가 있다는 의미다.

다만 현재 제공된 자료만으로는 harness 진화에 필요한 탐색 비용, 각 구성 요소의 독립적인 기여도, 서로 다른 환경 사이에서 효과가 얼마나 유지되는지를 판단하기 어렵다. 따라서 StarHarness는 모델 학습이나 범용 에이전트 평가를 대체하는 만능 해법이라기보다, 특정 환경에 맞춰 에이전트 운영 구조를 최적화하는 방법으로 이해하는 것이 적절하다.

출처: Hugging Face Daily Papers