에이전트 강화학습의 새로운 확장 축, Harness Scaling

들어가며

AI 에이전트의 성능은 기반 언어 모델과 수행 과제만으로 결정되지 않습니다. 도구를 어떻게 호출하는지, 환경의 관찰 결과를 어떤 형식으로 받는지, 과거 대화를 어떻게 관리하는지, 장기 작업을 어떤 절차로 진행하는지도 중요합니다. 이러한 실행 방식을 통합하는 프레임워크가 Harness입니다.

기존 에이전트 강화학습은 대체로 하나의 고정된 Harness를 통해 모델을 학습시켰습니다. 그 결과 모델은 특정 프롬프트, 도구 형식, 컨텍스트 정책 또는 워크플로에는 잘 적응할 수 있지만, 실행 설정이 바뀌면 성능이 떨어질 가능성이 있습니다.

《Harness Scaling for Generalizable Agentic Reinforcement Learning》은 Harness 자체를 에이전트 강화학습의 새로운 스케일링 차원으로 다룹니다. 과제와 환경을 늘리는 것뿐 아니라, 모델이 행동을 수행하는 방식을 다양하게 만들어야 한다는 접근입니다.

접근 방식

연구진은 Harness 공간을 다섯 가지 요소로 분해했습니다.

• 시스템 프롬프트: 에이전트의 역할과 행동 규칙을 지정합니다.
• 도구 인터페이스: 도구 설명, 호출 방식, 결과 반환 형식을 결정합니다.
• 관찰 방식: 환경 정보가 무엇이며 어떻게 제시되는지 정합니다.
• 컨텍스트 관리: 이력 보존과 압축 방식을 다룹니다.
• 워크플로: 작업 단계, 반복, 조정 절차를 구성합니다.

연구는 가능한 모든 설정을 무작정 학습에 넣지 않습니다. 먼저 요소별로 분해된 Harness 공간을 만들고, 조합을 균형 있게 포괄하는 비교적 작은 훈련 하위 집합을 선택합니다. 또한 동일한 과제를 여러 Harness에서 수행하는 교차 Harness 학습을 구성해, 과제 자체와 실행 방식의 변화를 함께 학습하도록 했습니다.

주요 결과

여러 벤치마크와 모델 규모, 강화학습 알고리즘을 사용한 평가에서 Harness Scaling은 학습 중 보지 못한 화이트박스 설정에 대한 일반화를 일관되게 높였습니다. 특히 단순히 훈련 설정의 수를 늘리는 것보다, 설정을 구조적으로 선택하고 서로 가까운 변화를 고려해 학습하는 방식이 더 효과적이었습니다.

이는 다양성이 많기만 하면 충분하지 않다는 뜻입니다. 어떤 설정들이 조합되는지, 그리고 그 조합이 Harness 공간을 얼마나 균형 있게 덮는지가 학습 결과에 영향을 줍니다. 모델이 특정 실행 흐름을 암기하는 대신, 여러 실행 조건에서 유지되는 전략을 학습해야 하기 때문입니다.

연구는 화이트박스 Harness에서 외부 블랙박스 Harness로의 전이도 살폈습니다. 구조화된 다양한 화이트박스 Harness에서 학습한 모델은 Claude Code와 같은 보지 못한 외부 Harness로 효과적으로 전이했으며, 하나의 복잡한 블랙박스 Harness에서 직접 강화학습한 모델보다 나은 결과를 보였습니다. 제공된 자료에는 구체적인 성능 수치가 없지만, 특정 폐쇄형 시스템에만 맞추는 것보다 학습 과정에서 실행 방식을 계획적으로 변화시키는 편이 더 넓은 전이에 도움이 될 수 있음을 시사합니다.

의미와 영향

Harness Scaling은 에이전트 강화학습에서 환경의 정의를 과제와 도구의 집합에서 실행 프레임워크까지 확장합니다. 따라서 에이전트를 평가할 때 과제 성공률만 보는 것에서 나아가, 프롬프트와 도구 프로토콜, 관찰 형식, 컨텍스트 정책이 달라져도 능력을 유지하는지 확인할 필요가 있습니다.

실제 시스템에서는 제품 구조나 오케스트레이션 계층이 바뀌어도 작동해야 하는 에이전트가 필요합니다. 다양한 Harness를 활용한 학습은 이러한 실행 변화에 대한 견고성을 높이는 방법이 될 수 있습니다. 다만 설정을 효율적으로 샘플링하는 방법, Harness 간 유사성을 측정하는 기준, 화이트박스에서 블랙박스로의 전이를 예측하는 방법은 여전히 남은 과제입니다.

이 연구의 핵심 메시지는 분명합니다. 에이전트의 일반화는 더 많은 모델 규모나 과제 수만의 문제가 아니며, 모델이 ‘어떻게 행동하도록 학습되는가’도 중요한 설계 변수입니다.

출처: Hugging Face Daily Papers