Agent 최적화 성능은 누적될 수 있을까? Terminal-Bench 2.0 지속학습 평가

도입

Agent 최적화 연구의 많은 결과는 한 번의 벤치마크 개선으로 제시된다. 고정된 작업 집합에서 Agent를 최적화하고, 통과율이 얼마나 올랐는지를 보고하는 방식이다. 하지만 실제 배포 환경은 고정되어 있지 않다. Agent는 계속 새로운 실패, 새로운 명령, 새로운 작업 분포를 만나며, 개발자는 이 데이터를 바탕으로 다시 최적화를 수행한다.

이번 arXiv 논문은 이 지점을 정면으로 묻는다. 최적화로 얻은 이득은 누적될 수 있는가? 한 번 최적화된 Agent가 새 작업을 바탕으로 다시 최적화될 때, 이전 개선을 잃지 않고 더 나아질 수 있는가?

연구진은 Terminal-Bench 2.0의 어려운 작업을 이용해 두 단계 지속학습 평가를 구성했다. 동일한 최적화 예산 아래 GEPA, Meta Harness, RELAI의 Verifiable Continual Learning인 RELAI-VCL을 비교했다. 핵심은 단일 점수가 아니라, 작업이 늘어나는 상황에서 최적화 성과가 유지되고 확장되는지였다.

핵심 내용

• 정적 평가는 충분하지 않다. 고정 벤치마크에서의 향상은 해당 방법이 이후 반복 최적화에서도 안정적으로 작동한다는 증거가 아니다.
• 처음에는 모두 개선된다. 일반적인 정적 단일 단계 설정에서는 GEPA, Meta Harness, RELAI-VCL 모두 기준 Agent보다 높은 성능을 보였다.
• 새 작업에서 차이가 벌어진다. 두 번째 단계에서 새로운 작업을 도입하자 GEPA로 최적화된 Agent는 전이 성능이 미최적화 기준선보다 낮았다. Meta Harness는 보지 못한 작업으로의 전이는 좋았지만, 두 번째 최적화 예산을 받아도 더 개선되지 않았다.
• RELAI-VCL만 두 조건을 충족했다. RELAI-VCL은 새 작업에 대해 긍정적으로 전이했고, 그 작업들을 최적화 목표에 포함한 뒤에도 계속 성능을 높였다.
• 평생 평균 성능도 가장 높다. 논문이 보고한 평생 평균 통과율은 RELAI-VCL 76.4%, GEPA 66.0%, Meta Harness 64.6%, 기준선 58.7%다.

의미와 영향

이 연구는 Agent 최적화 평가의 기준을 바꿔야 한다고 말한다. 중요한 것은 “이번 벤치마크에서 얼마나 올랐는가”만이 아니라 “다음 작업들이 들어왔을 때 기존 이득을 지키며 더 개선할 수 있는가”다. 코딩 Agent, 터미널 Agent, 자동화 워크플로 Agent처럼 지속적으로 업데이트되는 시스템에서는 이 차이가 실질적인 운영 비용과 안정성으로 이어질 수 있다.

저자들의 핵심 관찰은 회귀 제어가 최적화 루프에 포함될 때만 성능 이득이 누적됐다는 점이다. 이는 현재 작업에만 맞는 지름길 해법을 피하고, 이전 능력을 보존하면서 새 능력을 더하는 데 중요한 설계 원칙이 될 수 있다.

물론 결과는 Terminal-Bench 2.0의 특정 어려운 작업과 두 단계 설정에 기반한다. 더 다양한 도메인과 더 긴 기간의 검증은 필요하다. 그럼에도 이 논문은 Agent의 진짜 시험이 일회성 향상이 아니라 변화하는 환경 속에서 계속 강해지는 능력이라는 점을 분명히 보여준다.

출처: arXiv