Tencent WorkBuddy Bench, 코딩 에이전트를 실제 업무 관점에서 평가하다

도입

코딩 에이전트가 단순한 데모를 넘어 실제 개발 업무에 투입되기 시작하면서, 평가 방식도 달라질 필요가 커지고 있다. 함수 하나를 완성하는 능력만으로는 에이전트가 실제 업무를 끝까지 수행할 수 있는지 판단하기 어렵다. Tencent가 공개한 WorkBuddy Bench는 이러한 문제의식에서 출발한 다중 영역 코딩 에이전트 평가 벤치마크다.

핵심 내용

• 네 가지 업무 영역: WorkBuddy Bench는 Code, Web, Office, Security 네 하위 세트로 구성된다. 각각 저장소 수준의 엔지니어링, 프런트엔드 개발, 오피스 및 비즈니스 워크플로, 레드팀·블루팀 보안 태스크를 다룬다.
• 오염 저항적 태스크 구성: 공개 이슈 텍스트를 단순히 바꾸는 방식이 아니다. 실제 커밋, 풀 리퀘스트 또는 비즈니스 시나리오에서 태스크를 역설계한 뒤, 짧고 구어적인 역할극 형태의 사용자 요청으로 다시 작성한다.
• 비공개가 아닌 공개 재현성: 태스크 디렉터리, 환경 이미지, 평가 하네스, 테스트, 참조 해법이 공개된다. 오염 방지는 비밀 유지가 아니라 태스크 구성 방식과 데이터셋 버전 관리에 기반한다.
• 통일된 실행 프로토콜: 모든 태스크는 공통 디렉터리 형식으로 패키징되며 재현 가능한 프로토콜 아래 실행된다. 보고서에서는 CodeBuddy Code와 Claude Code 두 agent harness에서의 실행을 언급한다.
• 전체 평균 점수 없음: 각 하위 세트가 서로 다른 채점 도구를 사용하므로 점수를 영역 간에 직접 비교할 수 없고, 벤치마크 전체 평균도 제시하지 않는다.

해석

WorkBuddy Bench의 의미는 평가 질문을 바꾼 데 있다. 기존의 많은 코딩 평가는 “모델이 코드를 생성할 수 있는가”에 초점을 맞췄다. 반면 실제 업무에서는 저장소 구조를 파악하고, UI 동작을 수정하고, 업무 문서를 다루고, 보안 조건을 고려해야 한다. 여러 업무 영역을 포함한 평가는 이러한 복합적인 실행 능력과 실패 양상을 더 잘 드러낼 수 있다.

데이터 오염을 다루는 방식도 주목할 만하다. 공개 벤치마크는 시간이 지나면 모델 학습 데이터에 포함될 수 있고, 이 경우 점수가 실제 능력보다 높게 보일 위험이 있다. WorkBuddy Bench는 실제 개발 흔적에서 태스크를 재구성하되, 결과물은 공개해 누구나 실행하고 검토할 수 있게 한다. 완전한 비공개 평가와 검색 가능한 공개 문제 사이의 절충안에 가깝다.

의미와 영향

모델 개발자에게 이 벤치마크는 그럴듯한 코드 생성 능력과 실제 업무 완료 능력을 구분하는 데 도움이 될 수 있다. 기업 사용자에게는 에이전트가 어떤 영역에서 더 신뢰할 수 있는지 판단할 단서를 제공한다. 연구자에게는 환경, 테스트, 참조 해법이 함께 공개된다는 점에서 재현성과 감사 가능성이 중요하다.

다만 점수 해석에는 주의가 필요하다. WorkBuddy Bench는 영역마다 검증 방식이 다르기 때문에 하나의 총점으로 단순화하지 않는다. 앞으로 코딩 에이전트 평가는 “누가 1위인가”보다 “어떤 업무 조건에서 안정적인가”를 묻는 방향으로 발전할 가능성이 크다.

Source: Hugging Face Daily Papers