ToolSpace, 실제 도구 실행 기록으로 장기 에이전트 환경 구축

들어가며

장기 작업을 수행하는 에이전트는 개별 도구를 호출하는 능력만으로는 충분하지 않다. 앞선 호출의 결과를 다음 단계에 전달하고, 환경 상태의 변화를 추적하며, 실패했을 때 적절히 재시도해야 한다. ToolSpace는 이 문제를 해결하기 위해 환경 합성의 순서를 뒤집는다. 데이터베이스를 먼저 만든 뒤 도구를 설계하는 대신, 실제 도구 사용 기록에서 출발해 실행 가능한 환경을 구성한다.

핵심 방식

• 실행 기록에서 의존성 추출. 실제 MCP 서비스와 공개 에이전트 코퍼스의 호출 기록을 분석해 인접한 호출 사이의 데이터 의존성, 상태 의존성, 재시도 의존성을 결정론적 규칙으로 찾는다. 그 결과로 가중치가 있는 도구 조합 그래프를 구축한다. 실제 실행으로 확인된 연결은 언어 모델이 판단한 관계보다 현실적인 워크플로를 더 잘 반영할 수 있다.
• 환경을 필요할 때만 생성. 도구 그래프를 클러스터링해 여러 환경을 구성하고, 상태를 변경하는 도구가 있는 환경에만 데이터베이스를 합성한다. 조회 도구나 무상태 도구는 기록된 반환값을 재생한다. 이 방식은 불필요한 데이터베이스 생성을 줄이면서 실제 도구 인터페이스를 보존한다.
• 재생으로 과제 검증. 상태를 고려한 무작위 탐색을 수행하고 필요하면 롤백한다. 이어 실행 가능한 도구 호출 체인을 자연어 과제와 assertion 기반 검사로 변환한다. 초기 상태에서 성공적으로 재생되는 샘플만 남긴다.

실험 결과

ToolSpace는 AutomationBench와 tau3-Bench Banking을 더 어려운 Pro 버전으로 확장하는 데 사용됐다. 이 버전에서 7개 프런티어 모델의 점수는 최대 38.2포인트 하락했다. 이는 기존 벤치마크가 장기적인 도구 조합의 난도를 충분히 드러내지 못했을 가능성을 보여준다.

7개 장기 도구 사용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고, 강화학습을 추가하면 43.2에 도달했다. GLM-5.2도 44.6에서 56.6으로 향상돼 Claude Opus 5에 가까운 수준으로 보고됐다. 절제 실험에서는 실제 실행으로 확인된 연결이 LLM이 평가한 연결보다 뚜렷하게 우수했으며, 데이터와 환경 규모가 커질수록 성능도 계속 향상됐다.

의미와 한계

ToolSpace의 핵심 가치는 도구의 현실성, 조합의 실행 가능성, 결과의 검증을 하나의 파이프라인으로 묶었다는 점이다. 단순히 더 많은 과제를 만드는 데 그치지 않고, 실제 호출 흐름에 기반한 연속적인 상태 공간을 제공한다. 따라서 지도학습 데이터뿐 아니라 여러 환경을 넘나드는 강화학습과 엄격한 에이전트 평가에도 활용할 수 있다.

다만 결과의 품질은 원천 실행 기록의 범위와 신뢰성에 좌우된다. 특정 서비스나 실패 유형에 치우친 기록만 사용하면 도구 그래프에도 같은 편향이 남을 수 있다. 앞으로는 더 다양한 서비스와 실패 사례를 포함한 데이터로, 환경 간 일반화 능력을 추가 검증해야 한다.

출처: Hugging Face Daily Papers