도구가 계속 바뀌는 환경에서 에이전트는 적응할 수 있을까

들어가며

많은 에이전트 벤치마크는 도구 환경이 안정적이라고 가정한다. 도구는 계속 존재하고, 인터페이스는 변하지 않으며, 문서는 신뢰할 수 있고, 한 번 성공한 작업 절차는 다시 사용할 수 있다는 전제다. 그러나 실제 소프트웨어 생태계는 훨씬 동적이다. 서비스가 사라지거나 다른 서비스로 교체될 수 있고, 비슷한 기능을 제공하는 도구가 동시에 등장할 수도 있다. 문서가 불완전하거나 잡음을 포함하는 경우도 있다.

따라서 핵심 질문은 단순히 에이전트가 도구를 호출할 수 있는지가 아니다. 도구 환경이 달라졌을 때 새로운 실행 경로를 찾고, 기존 절차 지식을 수정하며, 작업을 계속 수행할 수 있는지가 더 중요하다.

Δτ-Bench가 보는 것

• 변화하는 생태계를 실행 가능한 평가 환경으로 구성한다. Δτ-Bench는 대규모 도구 생태계의 구조적 변화를 모델링한다. 42개 분야의 검증된 멀티턴 작업 1,588개와 6개의 연속적인 생태계 상태를 포함한다.
• 이동하는 능력의 경계를 시험한다. 상태가 바뀌면 익숙한 도구가 사라지거나 대체될 수 있다. 동시에 기능은 겹치지만 더 효율적인 새로운 대안이 등장한다. 에이전트는 과거의 절차를 반복하는 대신 새로운 도구 사용 경로를 능동적으로 찾아야 한다.
• 절차 지식의 갱신을 성능의 일부로 본다. 한 번의 작업 성공만 측정하는 것이 아니라, 누적한 절차 지식을 제때 수정하는지, 중단된 워크플로를 복구하는지도 평가한다.
• 기존 기술 학습의 한계를 드러낸다. 논문에 따르면 평가된 모델이나 하네스 중 가장 뛰어난 시스템도 성공률은 42.3%였다. 기존 기술 학습 방법은 초기에 성능을 높일 수 있지만, 생태계가 변화할 때 더 나은 적응으로 안정적으로 이어지지는 않았다.

Steward의 접근법

논문은 이러한 문제를 해결하기 위한 생태계 관리자 Steward를 제안한다. Steward는 도구 관리와 절차 기술 관리를 별개의 문제로 다루지 않는다. 대신 실행 중 도구를 동적으로 제공하고, 기술을 점진적으로 유지보수하는 방식을 결합한다.

기존 도구가 더 이상 작동하지 않으면 워크플로 복구를 지원하고, 더 효율적인 대안이 나타나면 새로운 경로를 채택하도록 돕는다. 논문 요약에 따르면 Steward는 생태계가 바뀌는 상황에서 더 높은 작업 성공률을 유지하면서 기술 유지보수에 필요한 부담을 줄였다. 중단된 작업 흐름의 복구와 효율적인 대안의 채택도 개선했다.

의미와 영향

Δτ-Bench의 의미는 에이전트 능력을 평가하는 기준을 확장했다는 데 있다. 정적인 평가에서는 고정된 환경에서 계획을 세우고, 도구를 호출하고, 절차를 기억하는지가 중심이었다. 반면 이 벤치마크는 환경이 바뀌는 것을 기본 조건으로 삼는다. 이는 기업용 서비스, 소프트웨어 통합, 개방형 도구 생태계의 현실에 더 가까운 관점이다.

앞으로는 단순한 작업 성공률 외에도 새 도구를 찾는 속도, 실패한 작업의 복구 능력, 지식 갱신 비용, 더 나은 대안을 식별하고 채택하는 능력을 함께 봐야 한다. 절차를 학습하는 것과 그 절차가 의존하던 환경이 사라져도 유용성을 유지하는 것은 서로 다른 능력이다.

출처: Hugging Face Daily Papers