AgentCompass: 에이전트 능력 평가를 위한 통합 인프라

들어가며

대규모 언어 모델은 이제 단순히 질문에 답하는 모델을 넘어, 도구를 호출하고 환경과 상호작용하며 여러 단계를 거쳐 목표를 수행하는 에이전트로 발전하고 있습니다. 이 변화와 함께 중요한 문제가 떠올랐습니다. 바로 이러한 에이전트를 어떻게 일관되고 재현 가능하게 평가할 것인가입니다. OpenCompass가 소개한 AgentCompass는 이 문제를 해결하기 위한 오픈소스 평가 인프라입니다.

현재 에이전트 평가 환경은 상당히 파편화되어 있습니다. 많은 벤치마크가 자체 실행 코드, 환경 인터페이스, 결과 처리 방식을 갖고 있어 새로운 모델이나 과제를 연결할 때마다 비슷한 작업을 반복해야 합니다. 이런 강한 결합은 실험 재현성을 낮추고, 서로 다른 연구 결과를 비교하기 어렵게 만듭니다.

핵심 포인트

• 세 가지 구성 요소의 분리: AgentCompass는 평가 과정을 Benchmark, Harness, Environment로 나눕니다. Benchmark는 과제와 지표를 정의하고, Harness는 실행과 조율을 담당하며, Environment는 에이전트가 행동하는 상호작용 공간을 제공합니다. 이 구조는 복잡한 실행 로직을 다시 만들지 않고도 다양한 조합을 가능하게 합니다.
• 에이전트 평가에 맞춘 설계: 에이전트의 능력은 단일 정답률만으로 설명하기 어렵습니다. 여러 단계의 행동, 도구 사용, 상태 변화, 환경 피드백이 모두 성능에 영향을 줍니다. AgentCompass는 이런 동적인 과정을 평가 대상으로 삼습니다.
• 장애 허용 비동기 런타임: 에이전트 평가는 시간이 오래 걸리고 실패 지점도 많습니다. 비동기 실행과 장애 허용 기능은 더 큰 규모의 평가를 안정적으로 수행하는 데 도움이 됩니다.
• 궤적 분석 도구: 최종 점수만으로는 에이전트가 어떻게 문제를 풀었는지 알기 어렵습니다. AgentCompass는 실행 궤적을 분석해 reward-hacking처럼 겉보기 성과와 실제 문제 해결이 어긋나는 상황을 진단할 수 있게 합니다.
• 다양한 벤치마크 지원: 공개된 요약에 따르면 AgentCompass는 5개 능력 차원에 걸쳐 20개 이상의 벤치마크를 기본 지원합니다.

의미와 영향

AgentCompass의 핵심 가치는 새로운 순위표 하나를 만드는 데 있지 않습니다. 오히려 에이전트 평가를 재사용 가능한 인프라로 정리해 연구자들이 같은 종류의 코드를 반복해서 작성하지 않도록 돕는 데 있습니다. 이는 새로운 벤치마크를 추가하거나 서로 다른 에이전트 설계를 비교할 때 특히 유용합니다.

또한 에이전트의 실패는 결과보다 과정에서 더 잘 드러나는 경우가 많습니다. 잘못된 도구 선택, 불필요한 반복, 비효율적인 탐색, 평가 보상을 악용하는 행동은 최종 점수만으로 파악하기 어렵습니다. 통합된 궤적 기록과 분석은 이러한 문제를 더 투명하게 드러낼 수 있습니다.

물론 평가 인프라가 모든 문제를 해결하지는 않습니다. 과제와 지표가 실제 능력을 제대로 반영하는지, 환경에 허점은 없는지에 대한 검토는 계속 필요합니다. 그럼에도 AgentCompass는 더 재현 가능하고 확장 가능한 에이전트 연구를 위한 실용적인 기반으로 볼 수 있습니다.

출처: Hugging Face Daily Papers