RSIHub, 에이전트 진화 연구를 재사용 가능한 실험 프레임워크로

들어가며

에이전트가 작업을 수행한 결과를 피드백으로 삼아 프롬프트, 스킬, 도구, 오케스트레이션을 개선하는 ‘에이전트 진화’는 복잡한 작업의 성능을 높이는 주요 연구 방향으로 떠오르고 있습니다. 하지만 실제 연구에서는 새로운 방법을 제안할 때마다 에이전트 실행, 후보 평가, 실패 복구, 실험 기록과 같은 주변 시스템을 다시 구현하는 경우가 많습니다. 이로 인해 개발 비용이 커지고 방법 간 공정한 비교도 어려워집니다. RSIHub는 이 반복적인 인프라 문제를 해결하기 위해 제안된 오픈소스 프레임워크입니다.

핵심 내용

• 진화 과정을 조합형으로 표현합니다. RSIHub는 레시피와 재사용 가능한 연산자를 조합해 연구 방법을 정의합니다. 레시피는 프롬프트, 스킬, 도구, 오케스트레이션처럼 변경할 수 있는 리소스를 선언하고, 연산자는 생성·선택·업데이트와 같은 구체적인 절차를 담당합니다.
• 공통 인프라가 실험 운영을 맡습니다. 실행, 평가, 복구, lineage(계보) 추적 기능을 프레임워크가 제공합니다. 각 후보의 생성 과정과 평가 조건을 연결해 기록하므로, 새 방법마다 전체 실험 파이프라인을 다시 만들 필요가 줄어듭니다.
• 평가 영역을 변경 대상과 분리합니다. 평가 로직을 진화하는 리소스 바깥에 두어 최적화 과정이 자신의 평가 기준을 바꾸는 위험을 줄입니다. 따라서 비교의 초점을 구현상의 차이보다 진화 정책에 맞추기 쉬워집니다.
• 기존 방법을 코어 수정 없이 구현합니다. 연구진은 AHE, Hyperagents, A-Evolve, GEPA를 프레임워크 핵심부를 변경하지 않고 구현했습니다. 각 방법의 고유한 로직은 레시피와 연산자 계층에 남습니다.
• 성능에는 조건 의존성이 있습니다. MiniSWE와 Codex를 사용해 Terminal Bench 2와 τ³ Banking에서 모델 및 평가기 설정을 고정하고 실험했습니다. 관찰된 최대 전체 pass@1 향상은 13.5%포인트였습니다. 그러나 설정에 따라 방법의 순위가 달라졌고, 최적화 중 얻은 향상이 보지 못한 과제로 항상 전이되지는 않았습니다.

의미와 한계

RSIHub의 핵심 가치는 단순한 코드 템플릿을 넘어 에이전트 진화 연구를 위한 공통 실험 프로토콜을 제시한다는 데 있습니다. 재사용 가능한 구성요소는 새로운 아이디어를 검증하는 데 필요한 공학적 부담을 낮춥니다. 후보 이력과 평가 조건을 함께 추적하면 어떤 변경이 결과에 영향을 주었는지도 더 쉽게 조사할 수 있습니다. 여러 방법을 같은 인프라에서 실행하면 실행 환경이나 기록 방식의 차이로 발생하는 비교 오차도 줄일 수 있습니다.

다만 RSIHub가 에이전트 진화의 근본적인 연구 문제를 자동으로 해결하는 것은 아닙니다. 특정 모델, 벤치마크, 설정에서 효과적인 전략이 일반적으로 우수하다고 보장할 수는 없습니다. 따라서 RSIHub는 성능 향상을 보장하는 자동 진화 엔진이라기보다, 재현 가능한 실험과 체계적인 비교를 위한 기반으로 이해하는 편이 적절합니다. 앞으로는 작업 간 전이를 더 정확히 측정하는 평가 프로토콜과 새로운 진화 대상 및 연산자 설계가 중요해질 것입니다.

출처: Hugging Face Daily Papers