RHI: AI 에이전트의 실행 하네스를 스스로 개선하다

들어가며

AI 에이전트는 대개 모델 호출 하나로 완성되지 않는다. 도구 사용, 역할 분담, 컨텍스트 전달, 반복 실행 루프를 묶는 외부 구조가 필요하다. 논문 “Recursive Harness Self-Improvement”는 이 실행 구조인 harness를 단순한 추론 시점의 보조 장치가 아니라, 개선되고 학습 루프에 포함될 수 있는 구성요소로 바라본다.

핵심 내용

• 최적화 대상이 모델 밖으로 확장된다. 연구진은 harness를 에이전트 루프를 설명하는 프롬프트 수준의 명세로 표현한다. 어떤 정보를 보존하고, 어떤 방식으로 공유하며, 다음 행동으로 어떻게 연결할지가 개선 대상이 된다.
• RHI는 자체 이력을 활용해 반복 수정한다. 공급자가 만든 대형 scaffold를 계속 다시 만드는 대신, 사용자가 만든 과제별 harness를 가볍게 갱신한다. 각 반복에서는 과거 버전들에 대한 쌍대 피드백을 바탕으로 새로운 개정안을 만든다.
• 평가는 합성 ML 연구 과제에서 이뤄졌다. 실험은 정량 금융, 로보틱스, 약학에 걸친 30개의 합성 머신러닝 연구 과제를 대상으로 했다. 이들 과제는 분석, 계획, 실험 결과 통합이 필요해 에이전트 워크플로 설계의 영향을 크게 받을 수 있다.
• 낮은 추론 강도에서도 성능 상한이 올라갔다. 논문에 따르면 몇 번의 RHI 반복 후 low reasoning effort 에이전트의 성능 상한이 크게 향상됐고, 대응되는 maximum reasoning effort 설정을 넘어섰다. 동시에 추론 비용은 최대 60%까지 줄었다고 보고했다.
• 핵심은 긴 추론이 아니라 컨텍스트 관리다. 저자들은 성능 향상의 주된 원인이 더 긴 추론 궤적이 아니라, 과제별 컨텍스트 관리와 에이전트 간 정보 흐름의 개선이라고 설명한다.

의미와 영향

이 연구의 실용적 메시지는 분명하다. 에이전트 성능을 높이는 방법은 더 강한 모델을 쓰거나 추론 예산을 늘리는 것만이 아니다. 컨텍스트를 요약하고 넘겨주고 재사용하는 방식을 다듬는 것만으로도 성능과 비용의 균형을 바꿀 수 있다.

더 넓게 보면 RHI는 모델과 harness의 공동 진화를 다룬다. harness는 당장의 실행 결과를 좌우할 뿐 아니라, 그 실행 궤적이 향후 모델 학습 데이터로 쓰일 경우 데이터 품질에도 영향을 줄 수 있다. 따라서 앞으로의 에이전트 경쟁력은 모델, 도구, 메모리, 오케스트레이션을 함께 설계하는 능력에 달릴 가능성이 크다.

물론 이번 결과는 합성 과제에 기반하므로 복잡한 실제 운영 환경에 그대로 일반화하기는 어렵다. 그럼에도 RHI는 다음 단계의 에이전트 개선이 모델 자체뿐 아니라 “모델을 사용하는 방식”의 자기 개선으로 확장될 수 있음을 보여준다.

출처: Hugging Face Daily Papers