에이전트 진화는 점수 상승 그 이상이다: 신뢰성·비용·전이의 숨은 대가

서론: 점수가 오르면 에이전트가 더 좋아진 것일까

에이전트 하네스를 진화시키면 기반 모델의 가중치를 업데이트하지 않고도 프롬프트, 도구 사용 방식, 제어 흐름, 외부 실행 환경을 바꿔가며 재귀적 자기개선을 시도할 수 있다. 하지만 벤치마크 점수가 상승했다는 사실만으로 에이전트가 더 신뢰할 만하고 효율적이며 새로운 작업에도 잘 적용된다고 판단해도 될까.

중국과학기술대학 등 연구진의 이번 연구는 이런 단순한 평가 방식을 점검한다. 최종 점수만 보는 대신 진화 과정에서 어떤 능력을 얻고 잃는지, 특정 변경이 어떤 조건에서 작동하는지를 추적했다.

무엇을 검증했나

연구진은 에이전트 진화를 현상, 일반화, 메커니즘이라는 세 관점에서 분석했다. 여러 하네스와 일반 작업, 코딩 작업을 대상으로 네 가지 방법을 평가했으며, 반복 평가와 통제된 에이전트 확장, 구성요소 개입, 승인 결정 재생을 함께 사용했다.

진화 과정은 네 단계로 나뉜다.

• Select: 어떤 후보 변경을 계속 검토할지 선택
• Analyze: 성공과 실패의 원인을 분석
• Mutate: 프롬프트, 전략 또는 하네스를 변경
• Gate: 다음 버전에 들어갈 변경을 승인

이 구조는 진화를 한 번의 전후 비교가 아니라 연속적인 의사결정 과정으로 바라보게 한다.

핵심 발견: 능력은 단순히 늘지 않고 재배치된다

16개 진화 에이전트는 모두 이전에 해결하지 못했던 작업을 새로 해결했다. 그러나 동시에 과거에 해결하던 작업 일부도 잃었다. 한 일반 작업 사례에서는 신뢰성이 5.2포인트 상승했지만, 기존에 커버하던 작업 10개가 사라졌다.

이는 평균 점수 상승이 능력의 일방적인 확장을 뜻하지 않는다는 점을 보여준다. 에이전트는 전체적으로 강해졌다기보다 특정 작업군에 더 맞도록 능력을 재배치했을 수 있다. 또한 신뢰성이 높아진 경우 대부분 배포 비용도 증가했다. 따라서 성능 지표만으로는 운영상의 부담을 파악하기 어렵다.

구체적이고 문제에 맞춘 변경은 대체로 일반적인 알림이나 지시보다 효과적이었다. 하지만 하나의 변경이 단독으로 유용하더라도 다른 변경과 결합했을 때 같은 효과를 보장하지는 않았다. 가장 높은 점수를 받은 에이전트 역시 네 개의 평가 풀 가운데 어느 곳에서도 가장 큰 평균 개선을 기록하지 않았다. 승인 기준을 지나치게 엄격하게 설정하면 유용한 대안까지 버릴 수 있다는 점도 드러났다.

전이는 조건에 따라 달라진다

진화의 결과가 다른 작업으로 옮겨가는 양상은 일관되지 않았다. 일반 작업 대상에서는 두 종류의 하네스와 여러 진화 패러다임 모두에서 커버리지가 대체로 감소했다. 반면 코딩 작업에서는 외부 계층만 변경하는 하네스를 사용했을 때 커버리지가 증가했다.

따라서 어떤 진화 전략을 모든 환경에서 통하는 일반 해법으로 볼 수는 없다. 작업 유형, 하네스 설계, 그리고 변경이 에이전트 스택의 어느 위치에 작용하는지를 함께 고려해야 한다.

에이전트 평가에 주는 의미

앞으로는 새로 해결한 작업 수만이 아니라 기존 능력의 보존 여부, 반복 실행의 안정성, 배포 비용, 목표 환경으로의 전이 여부를 함께 측정해야 한다. 또한 변경을 채택하는 규칙은 실제로 검증되어야 하며, 각 변경이 적용되는 조건도 명확히 제시해야 한다.

연구진은 이러한 진단을 바탕으로 Select, Analyze, Mutate, Gate 단계를 다시 설계한 EvoAudit를 제안했고, 연구 내에서 가장 좋은 성능을 달성했다. 이 연구의 핵심 메시지는 자기개선을 무조건적인 능력 증가로 보지 말라는 것이다. 에이전트 진화는 상승한 숫자뿐 아니라 얻은 것, 잃은 것, 비용과 적용 범위까지 함께 감사해야 제대로 평가할 수 있다.

출처: Hugging Face Daily Papers