Agent-R², 실제 파일로 생산성 에이전트를 훈련하다
배경
생산성 업무를 수행하는 에이전트는 자연스러운 문장을 만드는 것만으로 충분하지 않습니다. 연차보고서, 스프레드시트, PDF처럼 형식이 다른 파일을 이해하고, 사용자의 의도를 파악하며, 여러 단계의 전문적인 절차를 따라야 합니다. 최종 결과물은 형식, 근거, 세부 요구사항을 모두 만족해야 합니다. Agent-R²는 이런 현실적인 업무를 학습시킬 수 있는 확장 가능한 후훈련 데이터가 부족하다는 문제를 다룹니다.
데이터 합성 방식
Agent-R²는 대규모 언어 모델이 파일과 업무 환경을 전부 만들어내도록 하지 않습니다. 대신 파이프라인 전체를 실제 출처에 연결합니다.
- 직업 활동 시드에서 현실적인 업무 의도를 찾습니다.
- 웹 코퍼스에서 파일 중심의 업무 흐름에 대한 근거를 추출합니다.
- 공개된 실제 첨부파일을 검색하고 검증합니다.
- 작업 지시, 산출물, 세밀한 평가 루브릭을 구성합니다.
- 샌드박스에서 전문가 궤적을 실행하고, 불합리한 기준이나 미충족 요구사항을 수정합니다.
약 1만 개의 웹 후보에서 약 4,000개의 작업 인스턴스를 추렸습니다. 작업 하나에는 평균 2.51개의 실제 다중 형식 첨부파일과 15.3개의 산출물 수준 평가 항목이 포함됩니다. 전문가 궤적은 평균 18단계, 4.18만 토큰 규모입니다. 이는 업무 의도, 실제 파일 맥락, 성공적인 결과물의 조건을 하나의 학습 사례로 묶습니다.
실험 결과
연구진은 Qwen3-4B-Thinking-2507에 지도 미세조정을 적용한 뒤 루브릭 기반 강화학습을 수행해 Agent-R²-4B를 만들었습니다. GDPval Pass@1은 51.0%로, Qwen3-235B-A22B-Thinking-2507의 48.0%를 넘었습니다. OfficeQA에서는 기본 모델의 2.2%가 14.8%로 상승했고, 235B 모델의 13.8%도 앞섰습니다.
추가 분석에서 작업 완료율은 90.9%에 도달했고, 더 효과적인 도구 단계가 늘었습니다. 실제 파일을 사용한 설정의 점수는 43.3으로 합성 파일 설정의 41.4보다 높았으며, 전문가 도구 호출은 2.54배 많았습니다. 루브릭 보상을 제거하면 강화학습 결과가 51.0%에서 49.5%로 떨어졌습니다.
의미와 한계
이 결과는 에이전트 성능 향상에서 모델 크기만큼 학습 환경의 현실성이 중요할 수 있음을 보여줍니다. 실제 파일에는 서식 불일치, 정보 부족, 문서 간 대조 같은 마찰이 있습니다. 이런 조건은 에이전트가 겉보기 패턴에 의존하기보다 검색하고 조작하며 결과를 검증하도록 유도합니다. 산출물 수준 루브릭은 모호한 품질 기준을 확인 가능한 목표로 바꿉니다.
다만 데이터가 공개 웹 자료를 기반으로 한다는 점은 한계입니다. 모든 기업 내부 업무를 대표한다고 볼 수 없으며, 직무 범위와 저작권·개인정보 문제, GDPval과 OfficeQA의 실제 사무 업무 대표성도 추가 검토가 필요합니다. 연구진은 코드와 모델을 공개했으며, 다양한 업무 영역에서 효과가 재현되는지가 다음 과제입니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…