Cowork-Gym, 변화에 대응하는 업무 에이전트 학습을 확장하다

배경

실제 업무에서 에이전트가 안정적으로 협업하려면 도구를 호출하는 능력만으로는 부족하다. 여러 파일과 애플리케이션 사이의 의존성을 추적하고, 바뀌는 요구사항을 해석하며, 필요할 때 사용자에게 확인하고, 공유 작업공간이 수정된 뒤에는 계획과 결과물을 다시 조정해야 한다. 그러나 많은 학습 과제는 지시, 리소스, 성공 조건이 고정된 정적 형태다. 이런 데이터만으로는 업무 협업의 반복적이고 변화하는 성격을 충분히 학습하기 어렵다.

Cowork-Gym은 이 문제를 해결하기 위해 사람과 에이전트가 협업하는 실행 가능한 업무 환경을 대규모로 합성하는 방법을 제시한다.

구축·실행·수정의 순환

이 프레임워크의 핵심은 build–execute–revise, 즉 ‘구축·실행·수정’ 루프다. 먼저 작업 목표와 사용할 수 있는 리소스를 바탕으로 환경을 만든다. 이후 해당 작업을 실제로 실행해 도구, 파일, 의존성, 성공 기준이 서로 맞물리는지 확인한다. 마지막으로 검토 피드백을 이용해 불일치와 실행 문제를 수정한다.

이 방식에서는 환경이 실제로 작동하는지가 생성 과정에 포함된다. 텍스트만 살펴볼 때 놓치기 쉬운 사용 불가능한 리소스, 빠진 의존성, 목표와 평가 조건의 불일치 등을 실행 과정에서 발견할 수 있다. 다만 제공된 자료에는 오류 유형별 비율이나 수정 성공률이 제시되지 않았다. 따라서 현재 단계에서는 특정 작업 해결법이라기보다 환경 생성과 검증을 위한 생산 파이프라인으로 이해하는 것이 적절하다.

또한 상태를 유지하는 사용자 시뮬레이터가 포함된다. 사용자는 처음에 지시를 한 번 내리고 끝나는 것이 아니라, 에이전트의 행동에 따라 대화로 피드백을 제공하고 공유 작업공간을 직접 수정할 수 있다. 이를 통해 요구사항 확인, 계획 변경, 피드백 이후 결과물 수정과 같은 협업 행동을 학습할 기회가 만들어진다.

데이터 규모와 성능

연구진은 6만4888개 환경을 합성했으며, 14개 애플리케이션 시나리오와 17개 능력 라벨을 포함한다. 이 환경을 사용해 9B, 27B, 35B-A3B 규모의 Qwen 모델에 지도 미세조정, 강화학습, 온폴리시 증류를 적용했다.

6개 에이전트 벤치마크의 평균 점수는 각 대응 기반 체크포인트보다 8.7점, 6.4점, 4.1점씩 향상됐다. 27B 모델은 연구에서 평가한 모델 가운데 종합 2위를 기록했다. 또한 PawBench와 ClawEval에서 가장 높은 평균 점수를 달성했으며, 두 평가 모두에서 총 파라미터가 100B를 넘는 평가 대상 모델을 앞섰다.

다만 이 결과는 연구진이 보고한 평가 설정에 한정된다. 모든 실제 업무에서 보편적인 우위를 의미한다고 보기는 어렵다. 제공된 소재에는 벤치마크별 세부 점수, 환경 난이도 분포, 상세한 제거 실험도 없다. 따라서 일반화 성능은 추가 기술 보고서와 후속 실험을 통해 확인할 필요가 있다.

의미와 과제

Cowork-Gym은 에이전트 학습의 초점을 고정된 지시를 완료하는 일에서 변화하는 작업공간 속에서 지속적으로 협업하는 일로 확장한다. 환경 생성, 실행 검증, 사용자 피드백을 안정적으로 결합할 수 있다면 모든 시나리오를 사람이 직접 작성하지 않고도 장기 업무의 다양한 상황을 다룰 가능성이 있다.

그러나 시뮬레이터가 실제 사용자의 선호, 표현 방식, 수정 습관을 얼마나 잘 반영하는지는 여전히 과제다. 생성 환경이 익숙한 패턴에 치우칠 수도 있고, 벤치마크 상승이 실제 생산성 향상으로 곧바로 이어진다고 보기도 어렵다. 그럼에도 이 연구는 학습 환경 자체도 실행 가능하고 검증할 수 있으며 지속적으로 수정되어야 한다는 중요한 방향을 제시한다.

출처: Hugging Face Daily Papers