BizBench가 드러낸 장기 업무 에이전트 평가의 맹점

들어가며

AI 에이전트는 질문에 답하는 단계를 넘어 환불, 결제, 심사, 자원 배분과 같은 업무 절차를 직접 수행하는 방향으로 발전하고 있다. 이런 작업은 업무 상태를 바꾸고 자금과 시간을 소비하며 이후 의사결정에도 영향을 준다. 따라서 최종 상태가 맞더라도 실행 중 권한, 잔액, 기한 등의 조건을 위반했다면 실제 기업 환경에서는 재무적·규제적 위험이 남는다.

BizBench는 바로 이 지점을 평가하기 위해 제안된 벤치마크다. 제공된 자료 일부에서는 BizAgentBench라는 명칭도 사용된다. 글로벌 결제 회사의 업무 흐름을 바탕으로 상태를 유지하는 실행 환경을 만들고, 에이전트가 다중 턴 대화, 문서 검색, 도구 호출을 통해 과제를 수행하도록 한다. 환경에는 789개 지식 문서와 601개 검색 가능한 업무 도구가 들어 있으며, 50개 과제는 자원 제약, 시간적 의존성, 기존 약속, 오래됐거나 서로 충돌하는 지침을 다룬다.

핵심 내용

• 규정은 사건에 따라 달라진다. 어떤 문서가 적용되는지는 제품, 지역, 시행 기간과 업무 사건에 달려 있다. 만료된 보험도 보장 기간 중 발생한 사고에는 적용될 수 있다.
• 권한은 구체적인 작업과 맞아야 한다. 고객의 포괄적인 동의가 모든 작업을 허용하는 것은 아니다. 승인에는 구체적인 작업과 조건이 포함되어야 하며, 적절한 권한자가 실행 전에 승인해야 한다.
• 사후 수정으로 과거 위반을 없앨 수 없다. 잔액 제한을 한 번 넘긴 뒤 나중에 자금을 보충해도, 실행 과정에서 발생한 위반은 사라지지 않는다.
• 기다림 자체가 실패를 만들 수 있다. 심사나 창고 확인을 기다리는 동안 배송 예약 시간이 닫히거나, 다른 약속 때문에 자원과 시간이 부족해질 수 있다. 에이전트는 정보 수집과 행동을 조정하면서 전체 제약을 계속 확인해야 한다.

의미와 영향

BizBench는 목표 달성, 절차 준수, 금지된 부작용을 결정론적으로 점검하면서 하나의 정해진 해결 경로만 요구하지 않는다. 자료에 따르면 Claude Opus 5의 엄격 성공률은 64.0%, GPT-6 Sol은 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%였지만 엄격 성공률은 32.7%로 낮아졌다. 이는 결과 중심 평가가 유효하지 않은 실행을 감출 수 있음을 보여준다. GPT-6 Sol이 세 번의 실행 모두에서 성공한 과제 비율도 40%였다.

업무에 배치할 수 있는 에이전트는 최종 결과만 맞추는 것으로 충분하지 않다. 적용할 규정을 정확히 찾았는지, 행동 시점에 권한이 있었는지, 전체 과정에서 자원과 시간 제약을 지켰는지, 금지된 부작용을 피했는지를 함께 검증해야 한다. BizBench는 이러한 질문을 반복 가능한 검사로 바꾸며 고위험 업무에 가까운 에이전트 평가 방향을 제시한다.

출처: Hugging Face Daily Papers