WorkFactory, 직업적 의도를 실행 가능한 에이전트 학습 과제로 전환

서론

전문 업무를 수행하는 AI 에이전트를 훈련하려면 추론 능력이나 도구 사용 능력만 가르쳐서는 부족합니다. 작업에 필요한 문서와 정보가 갖춰져 있고, 정보 간 의존성이 일관되며, 도구와 실행 환경도 작동해야 합니다. 입력 파일이 빠졌거나 웹사이트에 접근할 수 없다면 유능한 모델도 업무를 끝내지 못할 수 있습니다. 이런 실패가 포함된 상태에서 교사 궤적을 수집하면, 학습 신호가 업무 능력보다 결함 있는 환경을 반영하게 됩니다.

Hugging Face Daily Papers에 소개된 WorkFactory는 이 문제를 과제 생성 단계에서 다룹니다. 전문적인 업무 의도를 출발점으로 삼아, 실제 실행이 가능한 작업을 대규모로 구성하는 방법입니다.

정보 지원 그래프로 과제 설계

WorkFactory는 곧바로 자연어 과제를 만드는 대신 정보 수준의 계획을 먼저 세웁니다. 목표 결과물을 완성하는 데 필요한 정보, 정보 사이의 의존성, 각 정보가 있어야 할 위치를 정보 지원 그래프로 표현합니다. 이를 통해 과제의 목표와 근거 자료, 실행 환경 사이의 관계를 명시적으로 관리할 수 있습니다.

이후 탐색 실행을 수행합니다. 해결 모델이 볼 수 있는 입력만 사용해 과제를 시험하면서 정보 부족이나 실행을 막는 문제를 찾습니다. 문제가 발견되면 원래의 업무 의도를 최대한 보존하면서 완료를 방해하는 부분만 수정합니다. 수정된 과제는 교사 모델에 전달되고, 교사 모델은 학습용 작업 궤적을 생성합니다.

이러한 ‘탐색 후 수리’ 절차의 장점은 비용이 큰 교사 실행 전에 환경을 점검할 수 있다는 점입니다. 구성 요소 분석에서 정보 계획과 수리는 탐색 단계에서 발견되는 환경 결함을 줄였고, 후속 모델 성능도 개선했습니다.

데이터 규모와 결과

WorkFactory는 612개 직종에 걸쳐 112,686개 과제를 구축했습니다. 수집한 교사 궤적으로 4B, 27B, 35B-A3B 규모의 WorkPilot 모델을 미세 조정했습니다. 세 모델 모두 네 가지 전문 업무 벤치마크에서 각 기반 모델보다 높은 성능을 기록했습니다. WorkPilot-35B-A3B의 GDPval-AA v2.1 Elo는 879에서 1565로 상승했습니다.

이는 전문 업무 에이전트용 데이터셋의 품질이 직종의 다양성이나 과제 수만으로 결정되지 않는다는 점을 보여줍니다. 과제가 실제로 실행 가능하고, 그 실행이 의도한 능력을 반영해야 한다는 의미입니다.

데이터 확대의 수익은 점차 감소

스케일링 분석에서는 데이터가 늘어날수록 성능이 선형적으로 향상되지는 않았습니다. 초기 데이터 추가의 효과는 컸지만, 학생 모델이 교사 모델의 능력 한계에 가까워지면서 증가 폭은 줄어들었습니다. 한편 실행 길이는 처음에는 늘었다가 이후 감소하는 패턴을 보였습니다.

이는 추가 데이터가 모델에게 업무의 내용뿐 아니라 불필요한 단계와 도구 호출을 줄이는 계획 및 실행 전략도 학습시킬 수 있음을 시사합니다. 다만 더 짧은 실행 궤적이 항상 더 좋은 결과물을 뜻한다고 단정할 근거는 제시된 자료에 없습니다.

의미와 한계

WorkFactory는 합성 데이터 생성을 단순한 문장 작성이 아니라 환경 설계의 문제로 바라보게 합니다. 전문적으로 보이는 과제를 만드는 데 그치지 않고, 필요한 정보와 도구가 성공적인 실행을 뒷받침하는지 확인하는 접근입니다. 이는 다양한 직종을 다루는 범용 업무 에이전트 연구에 실용적인 방향을 제공합니다.

다만 외부 도구의 제약은 여전히 남아 있습니다. 저자 설명에 따르면 웹 가져오기 실패의 주요 원인은 접근할 수 없는 웹사이트이며, 웹 검색의 실패율은 상대적으로 낮습니다. 향후에는 거부 샘플링, 더 어려운 과제, 강화학습 기반 확장을 통해 교사 모델과 환경의 한계를 넘는 방안이 검토될 예정입니다.

출처: Hugging Face Daily Papers