ClawLoop, Harness 환경에서 에이전트를 스스로 개선하는 학습 루프 제안

들어가며

대규모 언어 모델 에이전트가 대화창을 넘어 샌드박스, 파일 시스템, 셸에서 작동하기 시작하면서 학습 과제도 복잡해졌습니다. 에이전트는 하나의 도구를 호출하는 데서 끝나지 않고, 작업을 계획하고 여러 명령을 실행하며 중간 상태를 확인하고 오류가 발생하면 복구해야 합니다.

이런 Harness 기반 에이전트의 기존 후처리 학습은 대체로 일회성입니다. 더 강력한 외부 모델이 작업과 실행 궤적을 만들고, 대상 모델을 한 번 학습한 뒤, 연구자가 평가 결과를 직접 해석하는 방식입니다. 논문에서 제안한 ClawLoop는 평가와 진단을 다음 데이터 생성으로 되돌려 이 과정을 순환 구조로 바꾸려 합니다.

핵심 구조

ClawLoop는 세 단계로 구성됩니다.

• 작업 합성: 서로 보완적인 두 가지 구성 절차로 다양한 학습 작업을 생성합니다. 에이전트의 진단 결과에 따라 난도를 높이고, 에이전트를 사용하지 않는 검증과 에이전트 기반 검증을 모두 적용해 부적절한 작업을 걸러냅니다.
• 학습: 생성된 작업을 지도 미세조정(SFT), 강화학습(RL), 또는 두 방식의 조합에 활용합니다. 현재 모델이 드러낸 약점을 겨냥하는 것이 목적입니다.
• 진단과 피드백: 작업 수행 중 발생한 롤아웃을 분석해 능력 보고서를 만들고, 이를 다음 작업 합성 단계의 입력으로 사용합니다.

따라서 이 프레임워크는 단순한 자동 문제 생성과 다릅니다. 현재 에이전트가 어떤 방식으로 실패했는지를 바탕으로 다음 작업의 유형과 난도를 조정하려는 접근입니다. 계획 수립, 환경 점검, 오류 복구 등 특정 역량의 부족이 확인되면 이후 학습에서 해당 역량을 집중적으로 다룰 수 있습니다.

실험 결과와 한계

논문은 Qwen3.6-27B를 루프 모델로 사용했으며, SkillsBench, Claw-Eval-Live, ClawGym-Bench에서 일관된 개선이 있었다고 보고합니다. 반복 과정에서 정제된 작업을 Qwen3.5-4B와 9B에 전이했을 때에도 각 벤치마크에서 향상이 나타났습니다. 이는 생성된 작업의 품질이 루프를 수행한 대형 모델의 규모에만 묶이지 않을 가능성을 보여줍니다.

다만 제공된 자료에는 구체적인 점수, 학습 비용, 반복 횟수, 다른 방법과의 전체 비교가 제시되지 않았습니다. 따라서 계산 자원 대비 효율이나 다양한 환경에서의 재현성까지 판단하기는 어렵습니다. 작업 검증 방식, 보상 설계, 진단의 정확성 역시 최종 결과에 영향을 줄 수 있습니다.

의미와 전망

ClawLoop의 가장 큰 의미는 에이전트 학습을 일회성 데이터 구축이 아니라 지속적인 데이터 개선 과정으로 바라본 데 있습니다. 코드 저장소, 파일, 명령줄 환경을 다루는 에이전트에게 실패한 실행 궤적은 정확히 분류된다면 중요한 학습 신호가 될 수 있습니다. 또한 평가를 최종 순위 산출에만 사용하지 않고 다음 학습 데이터를 만드는 장치로 편입합니다.

반면 자기 생성 작업에만 과도하게 적응할 가능성은 계속 점검해야 합니다. 실패 유형의 투명한 분류, 독립적인 평가 세트, 반복 단계별 비용 분석이 뒷받침돼야 이 루프가 실제 일반화 능력과 신뢰성을 높이는지 확인할 수 있습니다. 그럼에도 ClawLoop는 Harness 환경에 특화된 에이전트 학습과 행동 기반 데이터 생성을 하나의 과정으로 연결한 실용적인 설계안을 제시합니다.

출처: Hugging Face Daily Papers