τ^τ-Bench, 코딩 에이전트의 실제 에이전트 납품 능력을 평가하다

코딩 에이전트가 단순한 코드 작성 도구를 넘어 고객 지원과 내부 업무를 처리하는 소프트웨어 개발에 투입되고 있다. 이때 중요한 질문은 코드를 생성할 수 있는지가 아니다. 요구사항을 파악하고 기존 데이터와 시스템을 연결해 실제로 운영 가능한 에이전트를 끝까지 납품할 수 있는지가 핵심이다. τ^τ-Bench, 즉 hyper-tau-bench는 이 능력을 측정하기 위해 설계됐다.

실제 프로젝트에 가까운 조건

일반적인 코딩 벤치마크는 명확한 문제와 테스트를 제공한다. 하지만 실제 고객 프로젝트에는 불완전한 정보와 숨은 요구사항이 존재한다. τ^τ-Bench에서 개발 에이전트는 기업이 보유한 업무 기록, 요구사항을 전달하는 고객, 운영에 사용해야 하는 프로덕션 API, 물려받아 수정할 기존 코드베이스를 받는다. 사용 가능한 모델과 서비스 비용에도 제한이 걸린다.

목표는 일부 코드 조각을 제출하는 것이 아니라 완성된 고객 서비스 에이전트를 제공하는 것이다. 만들어진 시스템은 배포된 뒤, 평가에 사용되는 비공개 시뮬레이션 사용자와 상호작용한다. 따라서 업무 데이터를 읽는 능력, 고객 요구를 확인하는 과정, 아키텍처 선택, 도구 호출, 비용 관리가 한 번에 평가된다.

첫 실행과 안정적인 납품 사이

평가는 4개 영역의 53개 과제로 구성됐다. 보고된 구성 중 가장 강력했던 Claude Opus 5와 Claude Code 조합도 평가 시뮬레이션의 23.9%만 통과했다. 반면 전문가가 작성한 참조 구현의 상한은 82.2%였다. 이는 실행되는 첫 버전을 만드는 일과 다양한 실제 대화에서 안정적으로 작동하는 시스템을 납품하는 일이 서로 다른 능력임을 보여준다.

실패 양상은 현업에서 익숙한 문제와 닮아 있다. 모델은 업무 기록을 깊이 이해하기보다 얕은 검색으로 답을 만들곤 한다. 고객과 거의 소통하지 않아 암묵적인 요구사항을 확인하지 못하는 경우도 있다. 또한 여러 에이전트 구조나 서빙 비용을 충분히 실험하지 않고, 첫 번째로 작동한 설계에서 개선을 멈추는 경향을 보인다.

평가 기준의 확장

τ^τ-Bench의 가장 큰 의미는 코딩 에이전트의 성공 기준을 넓혔다는 데 있다. 실용적인 개발 에이전트는 코드 작성뿐 아니라 조직의 정보를 조사하고, 모호한 요구를 확인하며, 모델과 비용을 비교하고, 완성된 시스템을 상호작용으로 검증해야 한다.

시뮬레이션이 장기간의 실제 운영을 완전히 재현할 수는 없다. 그러나 에이전트 구축이라는 협업형 작업을 반복 가능하고 비교 가능한 연구 과제로 만들었다는 점은 중요하다. 앞으로는 “코드를 만들 수 있는가”보다 “고객의 요구를 충족하는 시스템을 끝까지 제공할 수 있는가”가 더 중요한 기준이 될 가능성이 크다.

출처: Hugging Face Daily Papers